Inference - новий аплікейшн | AI Reliability Engineering | LLM Tracing with OpenInference |

В цьому епізоді - моя доповідь на Fwdays: AI Reliability Engineering чи варто застосовувати новий підхід або продовжувати використовувати традиційний. Продукти та рішення штучного інтелекту набули величезного значення у забезпеченні конкурентоспроможності бізнесу. Однак розгортання та експлуатація продуктів штучного інтелекту в межах периметра організації створює нові виклики з точки зору безпеки та надійності даних.

Для зменшення таких ризиків, як витік даних, бюджети, дотримання етичних норм і процесів забезпечення надійності, вкрай важливо застосовувати нові підходи. У цьому контексті ми розглянемо нові виклики та практики SRE, спеціально адаптовані для AI на прикладі кейсу з OpenAI та демо AutoGPT.

00:00 Інтро
03:57 Inspiration
06:58 Numbers
08:00 AI Current State
11:55 AIRe Challenges
14:53 AI Observability
26:44 Q&A