Скачать или смотреть Объяснение обучения с подкреплением: обучение с подкреплением без модели против обучения с подкре...

🎯 Освойте основы обучения с подкреплением! Это всеобъемлющее руководство объясняет два основных подхода к обучению с подкреплением: методы без использования моделей и методы на основе моделей, с подробными визуализациями и примерами из реальной жизни.

📚 Что вы узнаете:

🔵 Обучение с подкреплением без использования моделей («Действующий»)

• Методы, основанные на ценностях (DQN): Узнайте, как работают Q-таблицы и Q-сети

• Методы, основанные на политиках (REINFORCE, GRPO): Прямая оптимизация политики

• Методы Actor-Critic (PPO): Гибридный подход, сочетающий в себе лучшие стороны обоих подходов

🟢 Обучение с подкреплением на основе моделей («Планирующий»)

• Как агенты изучают модели окружающей среды

• Планирование посредством моделирования (AlphaZero, MuZero)

• Когда использовать подходы, основанные на моделях, а когда — без моделей

🎬 Темы курса:

Обучение с подкреплением на основе ценностей: Q-обучение, DQN и функции ценности
Обучение с подкреплением на основе политик: REINFORCE, GRPO и градиенты политики
Actor-Critic: PPO, A2C и архитектура Actor-Critic

Обучение с подкреплением на основе моделей: AlphaZero, MuZero и алгоритмы планирования

Сравнение всех методов с их сильными и слабыми сторонами

💡 Ключевые понятия:

• Циклы «Состояние-Действие-Награда»
• Q-таблицы и функции ценности

• Сети политики и распределения вероятностей
• Модели среды и деревья моделирования

• Процессы обучения и алгоритмы обучения

🔬 Идеально подходит для:

Энтузиастов машинного обучения
Исследователей и студентов в области ИИ

Всех, кто изучает обучение с подкреплением
Разработчиков, внедряющих алгоритмы обучения с подкреплением

📖 Разделы (временные метки):

0:00 Введение

0:11 Обзор методов без использования моделей и методов на основе моделей

0:33 Методы на основе ценности (DQN) - Q-таблицы и функции ценности

0:53 Методы на основе политики (REINFORCE, GRPO) - Прямая оптимизация политики

1:14 Методы Actor-Critic (PPO) - Гибридные подход
1:36 Обучение с подкреплением на основе моделей (AlphaZero, MuZero) - планирование и моделирование

2:05 Сравнение методов

2:27 Резюме и основные выводы

Общая продолжительность: ~2:51

🚀 Следующие шаги:

Реализация собственного агента обучения с подкреплением

Изучение глубоких Q-сетей (DQN)

Изучение оптимизации проксимальной политики (PPO)

Изучение AlphaZero и MuZero

📚 Ресурсы:

Саттон и Барто: Обучение с подкреплением: введение

Оригинальная статья о DQN

Статья о PPO

Статья об AlphaZero