Скачать или смотреть Как LLM могут хранить факты | Глава 7, Глубокое обучение

Многослойные перцептроны в трансформере. Как они могут хранить факты .

Звуковая дорожка на русском языке: Влад Бурмистров.

Вместо рекламы, эти уроки финансируются непосредственно зрителями: https://3b1b.co/support
Не менее ценная форма поддержки - просто поделиться ссылкой на видео.

Сообщение на форуме AI Alignment от исследователей Deepmind, упомянутое в начале видео: https://www.alignmentforum.org/posts/...

Сообщения от Anthropic о суперпозиции, упомянутые в конце видео: https://transformer-circuits.pub/2022... https://transformer-circuits.pub/2023...

Некоторые дополнительные ресурсы для тех, кто хочет узнать больше о механистической интерпретируемости, предложенные Нилом Нандой

Список литературы по механистической интерпретируемости https://www.alignmentforum.org/posts/...

Начало работы по механистической интерпретируемости https://www.neelnanda.io/mechanistic-...

Интерактивное видео sparse autoencoders (автор - Neuronpedia)
https://www.neuronpedia.org/gemma-sco...

Тьюториалы по механистической интерпретируемости (автор - ARENA)
https://arena3-chapter1-transformer-i...

Временные метки:
0:00 - Где живут факты внутри LLM
2:15 - Краткий обзор трансформеров
4:39 - Предположения для нашего примера
6:07 - Внутри многослойного перцептрона
15:38 - Подсчитываем парамеры
17:04 - Суперпозиция
21:37 - Что дальше

------------------

Эти анимации были созданы с помощью специальной библиотеки Python, которая называется manim. Частые вопросы можно найти здесь:
https://3b1b.co/faq#manim
https://github.com/3b1b/manim
https://github.com/ManimCommunity/manim/

Код для отдельных видео доступен здесь:
https://github.com/3b1b/videos/

Музыка Винсента Рубинетти. https://www.vincentrubinetti.com https://vincerubinetti.bandcamp.com/a... https://open.spotify.com/album/1dVyjw...

------------------
3blue1brown - это канал об анимации математики, во всех смыслах слова анимация. Если Вы читаете нижнюю часть описания видео, то, полагаю, эти уроки интересуют Вас больше, чем среднестатистического зрителя. Мне будет очень приятно, если Вы подпишетесь на канал здесь, на YouTube, или иным образом на той платформе, которую Вы чаще всего посещаете.

Рассылка: https://3blue1brown.substack.com Twitter:   / 3blue1brown   Instagram:   / 3blue1brown   Reddit:   / 3blue1brown   Facebook:   / 3blue1brown   Patreon:   / 3blue1brown   Сайт: https://www.3blue1brown.com