BAGGING, СЛУЧАЙНЫЙ ЛЕС, РАЗЛОЖЕНИЕ ОШИБКИ НА СМЕЩЕНИЕ (BIAS) И РАЗБРОС (VARIANCE). полная лекция

Композиции моделей в машинном обучении позволяют решать более сложные задачи, на этой лекции рассматривается темы:
1. Почему композиции моделей работают с точки зрения математики (разложение ошибки на смещение и дисперсию)
2. Общее устройство композиции под названием бэггинг (bagging)
3. Как можно реализовать случайный лес с деревьями решений, реализованными через рекурсию.

Курсы на платформе Stepik:
1. Библиотеки Python для Data Science https://stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) https://stepik.org/a/127274


Для более осмысленного понимания, советую ознакомится с теорией построения дерева решений    • Как обучается дерево решений для регр...  


0:00 Введение
0:31 Общая концепция бэггинга

1:11 Разложение ошибки на шум, смещение и дисперсию
3:50 Модель с низким смещением (bias) и высоким разбросом (variance)
6:41 Модель с высоким смещением (bias) и низким разбросом (variance)
8:25 Резюме по смещению и разбросу

9:42 Математика объединения моделей в композицию
10:53 Корреляция между базовыми алгоритмами
11:28 Метод бэггинг (на бустрап выборках)
13:34 Метод случайных подпространств
14:26 Резюме по усреднению алгоритмов

16:20 Случайный лес
17:48 Количество признаков в случайном лесу для классификации и регрессии
18:20 Реализация случайного леса
19:38 Функция для генерации бустрапированных данных
21:15 Функция для генерации случайных признаков
23:06 Класс узла для дерева решений
23:57 Класс листа для дерева решений
25:04 Функция для критерия информативности Джини
26:11 Функция для прироста информации (information gain)
27:28 Функция для разбиения по вопросу
28:24 Функция для поиска наилучшего разбиения
31:15 Функция для построения дерева решений через рекурсию
32:52 Функция для построения случайного леса
33:34 Функция для классификации одного объекта деревом
34:51 Функция для классификации всей выборке
35:37 Функция для предсказания всем случайным лесом

37:45 Разбиение данных на обучение и тест
37:53 Функция для accuracy
38:40 Обучение случайных лесов

42:56 Резюме лекции

44:44 Вопрос про параметры случайного леса
47:16 Вопрос про вероятности при предсказании случайном лесом
49:01 Вопрос про разницу случайного леса и бустинга
50:10 Бэггинг бустингов
51:58 Вопрос про разные бустинги
53:30 Вопрос про масштабирования данных для деревьев
54:27 Вопрос про предобработку данных
57:35 Вопрос про балансировку классов (библиотека imblearn)