🔎 Про що подія?
Традиційні метрики процесу, продукту та якості добре працювали роками, поки системи залишались детерміністичними. Але в GenAI-реальності цей підхід більше не спрацьовує. Однаковий вхід не гарантує однаковий вихід, моделі можуть галюцинувати, агенти створюють каскадні помилки, а класичні KPI цього просто не помічають.
GenAI-продукти вимагають переходу від підходу expected vs actual до математики невизначеності. Йдеться про perplexity, groundedness, robustness, bias vectors, conflict probabilities, hallucination rate та метрики, специфічні для моделей, агентів і багатокрокових пайплайнів. Без цього ми ризикуємо залишитись у «теплій ванні» уявної якості та випускати продукти, які можуть шкодити користувачам.
На лекції поговоримо про:
◾ чому класичні метрики не працюють для GenAI
◾ як галюцинації накопичуються на кожному етапі RAG, agent та pipeline
◾ практичний AI-native metric stack для реальної оцінки ризиків
Ця доповідь є радше попередженням. Без переосмислення метрик ми не знатимемо, наскільки наш AI-продукт неточний, небезпечний або некерований. GenAI потребує не більшого контролю, а нової архітектури вимірювання.
🎙 Марина про себе
Maryna Didkovska is a Senior Director, Quality Architecture at EPAM Systems. As a Test Manager and Quality Architect, Maryna has managed teams building scalable testing processes on projects with over 600 participants, developed enterprise-level testing ecosystems and coached others to become experts and leaders.
Маючи академічний бекграунд у сфері AI, Марина поєднує теорію з практичним досвідом, допомагаючи командам підвищувати якість програмного забезпечення та драйвити цифрові трансформації. Регулярна спікерка конференцій STAREAST, EUROSTAR, SEETEST, STARCANADA, ProQuality та інших. Захоплюється створенням прозорих і вимірюваних процесів покращення якості.
🔎 Де знайти Марину
LinkedIn: / marynadidkovska
💡 Суворе QA Community – це закритий простір для QA-спеціалістів, в якому можна знайти підтримку, натхнення та відкрити для себе нові горизонти життя тестувальників.
🔥 У нас проходять обговорення, корисні зустрічі, воркшопи та закриті події. Приєднуйтесь, щоб розширити кругозір та подивитися на тестування з іншої сторони!
🔔 Підписуйтесь на канал, щоб не пропустити нові виступи та лекції.
💛 Наші соцмережі:
🔹 LinkedIn: / severe-qa-community
🔹 Telegram: https://t.me/a_grygorenko
🌟 Доєднатися до спільноти: https://t.me/suvoriy_qa_bot
📌 Більше про нас: https://qa-community.notion.site/
#qacommunity #ukraine #сувораспільнота #qatesting #softwaretesting
Информация по комментариям в разработке