Скачать или смотреть Понимание прогнозов моделей с помощью SHAP — XGBoost против нейронных сетей (375)

В этом уроке я расскажу вам о SHAP (SHapley Additive exPlanations) — одном из самых мощных инструментов для понимания того, что на самом деле делают ваши модели машинного обучения.

Я объясню SHAP, используя простую аналогию из теории игр: если команда из 5 человек выигрывает 1000 долларов, как справедливо разделить приз, исходя из вклада каждого участника? SHAP применяет ту же концепцию к признакам машинного обучения.

Используя набор данных о раке молочной железы в Висконсине, я покажу вам, как:
Обучить модели XGBoost и нейронные сети для классификации
Использовать SHAP для объяснения прогнозов обеих моделей
Понять глобальную важность признаков (какие признаки важны в целом?)
Объяснить отдельные прогнозы (почему модель предсказала ИМЕННО ЭТОТ результат?)
Сравнить объяснения SHAP для разных типов моделей

Ключевой вывод: XGBoost дает гораздо более понятные объяснения SHAP, чем нейронные сети. Модели на основе деревьев фокусируются на меньшем количестве, но более важных признаков, в то время как нейронные сети распределяют важность между многими признаками с меньшими значениями. Именно поэтому XGBoost часто предпочтительнее, когда важна интерпретируемость — в здравоохранении, финансах или любой другой области, где необходимо доверять решениям ИИ и объяснять их.

Я делаю код простым и практичным — никаких классов, только простые функции, которые можно скопировать и вставить. Каждый блок кода является самостоятельным, поэтому вы можете следовать инструкциям шаг за шагом.

Код доступен здесь: https://github.com/bnsreenu/python_fo...