Обсуждаем обзор:
Pessach, D., & Shmueli, E. (2022). A Review on Fairness in Machine Learning. ACM Computing Surveys, 55(3), 1–44. https://doi.org/10.1145/3494672
Алгоритм хорош настолько, насколько хороши данные, с которыми он работает. Данные часто бывают несовершенными, что позволяет этим алгоритмам унаследовать предубеждения лиц, принимавших решения ранее. Чтобы найти решение проблемы разнородного воздействия больших данных, потребуются не только усилия по искоренению предубеждений; это потребует пересмотра значений понятий «дискриминация» и «справедливость».
Несколько десятилетий исследования предрассудков исчерпали тему, но наступил некоторый ренессанс в работе по «невыносимой точности стереотипов» (Jussim et al., 2009). Согласно этой появляющейся литературе, мы можем неохотно признать, что некоторые группы менее «умны», «трудолюбивы» или «щедры», чем другие. Однако мы не должны позволять сомнениям игнорировать эмпирические доказательства того, что стереотипы, в том числе негативные стереотипы о членах других групп, часто точно отражают социальную реальность.
Соотношение между ложноположительными и ложноотрицательными результатами является показателем того, как оцениваются члены двух групп алгоритмом, Инструмент под названием COMPAS присваивает каждому человеку балл, который указывает на вероятность того, что человек совершит преступление в будущем. Нортпойнт подчеркивает факт, что если бы чернокожему и белому дали определенный балл, вероятность рецидива у этих двух людей должна была бы одинаковой. ProPublica смотрит на проблему по-другому. Вместо того, чтобы спрашивать, имеют ли равновероятную вероятность рецидива чернокожий и белый человек с одинаковым баллом, вместо этого они сосредоточились на том, имеют ли равновероятно вероятность того, что чернокожий и белый, которые не совершат рецидив, получат низкий балл от алгоритма.
Высокий балл и низкий балл должны означать одно и то же как для черных, так и для белых (мера, подчеркнутая Нортпойнтом), и законопослушные черные и белые должны с одинаковой вероятностью быть неверно охарактеризованы инструментом (мера, подчеркнутая ProPublica). К сожалению, это решение оказалось недостижимым. Причина, по которой это невозможно, связана с тем, что основные показатели рецидивизма среди черных и белых различаются.
Поэтому есть две "справедливости". Или что тоже самое, ни одной. Справедливость не отделима от вопроса "в чьих интересах". В данном случае тех, кто в тюрьме или тех, кто решил в неё не попадать. Применимы ли "честность" и "справедливость" к математическим объектам, типа алгоритма? Есть теорема, что нет, и есть благонамеренные политические речи.
Информация по комментариям в разработке