Скачать или смотреть Отравление наборов данных: цифровая гонка вооружений

Представленные источники предлагают всесторонний обзор атак, направленных на отравление данных, против систем машинного обучения (МО) и искусственного интеллекта (ИИ), в частности, больших языковых моделей (ЛМ) и моделей визуального языка (ВЯМ). Исследования показывают, что эти вредоносные атаки, направленные на обучение модели нежелательному или опасному поведению, могут быть реализованы с использованием удивительно небольшого количества документов, что делает их весьма осуществимыми и доступными для злоумышленников независимо от размера модели. Рассматриваются различные типы атак, такие как атаки с использованием бэкдоров и целенаправленное или нецелевое отравление, а также различные технические средства защиты, такие как обнаружение выбросов и передовые методы надежной агрегации в федеративном обучении (ФО). Важно отметить, что источники подчёркивают растущую необходимость обеспечения безопасности цепочки поставок ИИ и защиты данных, отмечая, что глобальные нормативные акты, такие как Закон ЕС об ИИ, формализуют требования к кибербезопасности, надежности и отслеживаемости данных на протяжении всего жизненного цикла ИИ для снижения этих сложных угроз.