ROC-AUC, ROC-CURVE, ROC-КРИВАЯ | МЕТРИКИ КЛАССИФИКАЦИИ

Поддержать канал можно по ссылке https://www.donationalerts.com/r/mach...
или можно оформить подписку на https://boosty.to/machine_learrrning

Канал в TG https://t.me/machine_learrrning

Курсы на платформе Stepik:
1. Библиотеки Python для Data Science https://stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) https://stepik.org/a/127274


Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео посмотрим, что из себя представляет ROC-кривая и метрика ROC-auc.

Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео    • ПЕРЕОБУЧЕНИЕ И НЕДООБУЧЕНИЕ В МАШИННО...  

Ноутбук из видео: https://colab.research.google.com/dri...



Остальные метрики классификации:
1. Accuracy -    • ACCURACY | МЕТРИКИ КЛАССИФИКАЦИИ В МА...  
2. Precision. Recall. Confusion Matrix -    • PRECISION, RECALL, CONFUSION MATRIX, ...  
3. F-score -    • F-SCORE, F1-SCORE, Fbeta-SCORE, F-МЕР...  
4. Micro, Macro, Weighted усреднения -    • MICRO, MACRO, WEIGHTED УСРЕДНЕНИЕ | Д...  
5. PR-AUC, PR-curve -    • PR-AUC, PR-CURVE, PR-КРИВАЯ, PRECISIO...  



0:00 Ранее пройденные метрики
0:21 Датасет на сегодня
1:05 Обучение модели
1:10 Предсказания модели классификации

1:13 Метод predict для предсказания метки класса
1:21 Метод predict_proba для предсказания вероятностей по классам
2:13 Отсечка для вероятности (threshold)

3:01 Визуализация предсказанной вероятности быть первым классом
3:28 Визуализация отсечки 0.5
4:09 Матрица ошибок для отсечки 0.5

4:18 Расчет метрики ROC-curve (ROC-AUC)
4:42 TPR (True Positive Rate)
5:03 FPR (False Positive Rate)
5:27 Подсчет TPR и FPR через матрицу ошибок

5:43 Изменения отсечки по вероятности до 0.6 для уменьшения FPR
6:09 Матрица ошибок для отсечки 0.6
6:20 Изменения отсечки по вероятности до 0 для увеличения TPR
6:44 Матрица ошибок для отсечки 0
6:52 Резюме изменения отсечки по вероятности

6:59 Общие сведения о ROC-кривой (ROC-curve)
7:49 Подсчет ROC-кривой
8:03 Идеальная отсечка для бинарной классификации

8:28 Первая точка ROC-кривой. Отсечка по вероятности равна 1
8:50 Визуализация предсказаний с отсечкой 1
9:13 Первая точка на ROC-кривой

9:25 Вторая точка ROC-кривой. Отсечка по вероятности равна 0.84
9:59 Визуализация предсказаний с отсечкой 0.84
10:12 Вторая точка на ROC-кривой

10:18 Третья точка ROC-кривой. Отсечка по вероятности равна 0.54
10:32 Визуализация предсказаний с отсечкой 0.54
11:11 Третья точка на ROC-кривой

11:19 Четвертая точка ROC-кривой. Отсечка по вероятности равна 0
11:35 Визуализация предсказаний с отсечкой 0
12:04 Четвертая точка на ROC-кривой

12:12 Построение ROC-кривой через sklearn
12:26 Метрика ROC-AUC (Area Under Curve)

12:44 Резюме
12:53 ROC-кривая (ROC-curve)
13:20 ROC-AUC
13:59 Поддержать канал можно здесь https://www.donationalerts.com/r/mach...