Скачать или смотреть Проблемы тестирования в эпоху искусственного интеллекта Константина Павлова

Приложения ИИ нарушают контроль качества: недетерминизм, задержка, ограничения скорости и нарушения схемы делают тесты утверждений нестабильными, что приводит к снижению эффективности CI и подрывает доверие. Безопасность/конфиденциальность усложняют задачу: данные должны быть анонимизированы, запросы дезинфицированы, утечки предотвращены — области, выходящие за рамки стандартных проверок. Реальные пользователи отправляют запросы на джейлбрейк, неформальные запросы и шаблоны RAG различаются на промежуточной и рабочей стадиях. Рабочие процессы агентов усугубляют ситуацию: многошаговая оркестровка инструментов с повторными попытками, утверждениями и межагентской координацией выходит за рамки модуля или интеграции. В этом сеансе представлена ​​многоуровневая стратегия тестирования: быстрые тесты на основе имитаций с (mokksy.dev); поведенческие тесты, проверяющие вызовы инструментов и безопасность; и проверки работоспособности модели в режиме реального времени с использованием LLM в качестве механизмов оценки и утверждения (promptfoo). Примеры использования агентной среды JetBrains Koog демонстрируют эти шаблоны, которые я практикую. Участники получат четкую карту подводных камней тестирования ИИ и практические методы для баланса между скоростью разработки и качеством в непредсказуемых условиях.