Павел Филонов — Сложности формулирования требований в ML-проектах; как поможет пирамида метрик

Подробнее о конференции Flow: https://jrg.su/1TyzrD
— —
Специалисты по DS хорошо умеют пользоваться метриками для оценки качества своих моделей. Но очень часто эти метрики сложно отобразить на реальные потребности бизнеса. А иногда и сами DS-специалисты плохо могут объяснить их смысл. Попросите, например, их объяснить обычному человеку, что такое расстояние Кульбака-Лейблера, и они почувствуют, что и сами плохо это понимают.

При этом понимание того, как DS-метрики могут повлиять на итоговые бизнес-результаты — важнейший вопрос, который необходимо прояснить на самых ранних этапах проекта. Сделать это можно с помощью построения пирамиды метрик, которая поможет понять, как можно пересчитать эти нетривиальные ROC-AUC в реальную экономию фонда оплаты труда или другие важные бизнес-показатели.

В докладе на примерах из реальных проектов показаны шаги по построению таких связей. Для этого участникам предстоит неглубоко погрузиться в мир DS-метрик.

Скачать презентацию с сайта Flow — https://cutt.ly/AwDshDfM

#metrics #datascience