Скачать или смотреть Neural Kernel Methods

Что будет если обучать бесконечно широкую нейронную сеть?

В статье "Wide Neural Networks of Any Depth" утверждается, что результат будет точно такой же, как и обучение линейной модели градиентным спуском. Чтобы работать с бесконечно широкими сетями, в статье вводят ядро NTK (neural tangent kernel), решают диффуры и так далее. Получается, что обучение бесконечно широких сетей -- это *ядерный метод*.

На семинаре планируется следующее:

рассказ про Kernel Regression

рассказ про обучение бесконечно широких сетей по статье "Wide Neural Networks of Any Depth"

рассказ про статью Neural Kernels without Tangents (эта статья -- state-of-the-art среди ядерных методов на CIFAR-10)

Материалы:

Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent (https://arxiv.org/abs/1902.06720.pdf)

Neural Kernels without Tangents (https://arxiv.org/abs/2003.02237.pdf)

Презентация Виктора Китова про Kernel Regression (http://www.machinelearning.ru/wiki/im...)

Докладчик: Максим Винниченко.

Слайды: https://drive.google.com/open?id=1uq7...