Скачать или смотреть [Перевод] Лекция 5. GPU (графические процессоры)

CS336: Моделирование языка с нуля

Еще больше зарубежных курсов с русской озвучкой вы найдете на russiancourses.net

Подписывайтесь на телеграм канал чтобы быть в курсе обновлений и выпусков зарубежных курсов на русский язык - https://t.me/+rxlBBiBnnik5NmZk

---

Изучите моделирование языка шаг за шагом, создавая собственную модель с нуля 🧠

CS336 — это курс, который даст полное понимание языковых моделей, лежащих в основе современных систем обработки естественного языка (NLP). Подобно курсам по операционным системам, где студенты пишут ОС с нуля, здесь вы пройдёте весь путь создания языковой модели — от подготовки данных до финального развёртывания.
Что включает курс:

📂 Сбор и очистка данных для предобучения
🔧 Конструирование трансформерных архитектур
⚡ Обучение моделей и оптимизация для работы на GPU и в распределённых системах
📊 Оценка качества модели перед развёртыванием
Требования к участникам:

🐍 Уверенное владение Python (все задания будут на нём)
🧮 Хорошее знание линейной алгебры и математического анализа
📈 Базовое понимание вероятности и статистики
🤖 Опыт в машинном обучении и глубоких нейросетях (PyTorch)
💻 Знание основ системной оптимизации и иерархии памяти
Особенности:

🚀 Это практико-ориентированный курс: вы будете писать в десятки раз больше кода, чем в типичных занятиях по ИИ
🛠 Подробное изучение всех компонентов языковых моделей
🎓 5 единиц академической нагрузки — требует значительных временных вложений
Итог: к концу курса вы создадите собственную языковую модель, получите глубокое понимание её архитектуры и сможете применять эти знания в современных проектах ИИ.