Павел Филонов — Сложности формулирования требований в ML-проектах; как поможет пирамида метрик

Ближайшая конференция — Flow 2024 Autumn, 17 сентября (online), 24-25 сентября (offline, Санкт-Петербург + трансляция).
Подробности и билеты: https://jrg.su/1TyzrD
— Ближайшая конференция: Flow 2024 Autumn — 17 сентября (online) и 24–25 сентября (offline, Санкт-Петербург)
Подробности и билеты: https://cutt.ly/rw2xdP8f
— —
Специалисты по DS хорошо умеют пользоваться метриками для оценки качества своих моделей. Но очень часто эти метрики сложно отобразить на реальные потребности бизнеса. А иногда и сами DS-специалисты плохо могут объяснить их смысл. Попросите, например, их объяснить обычному человеку, что такое расстояние Кульбака-Лейблера, и они почувствуют, что и сами плохо это понимают.

При этом понимание того, как DS-метрики могут повлиять на итоговые бизнес-результаты — важнейший вопрос, который необходимо прояснить на самых ранних этапах проекта. Сделать это можно с помощью построения пирамиды метрик, которая поможет понять, как можно пересчитать эти нетривиальные ROC-AUC в реальную экономию фонда оплаты труда или другие важные бизнес-показатели.

В докладе на примерах из реальных проектов показаны шаги по построению таких связей. Для этого участникам предстоит неглубоко погрузиться в мир DS-метрик.

Скачать презентацию с сайта Flow — https://cutt.ly/AwDshDfM

#metrics #datascience