Скачать или смотреть 왜 언어 모델은 환각 현상이 발생하는가?

네번째 에피소드는 지난 주 AI 연구자들이 많이 봤던 "왜 언어 모델은 환각 현상이 발생하는가?(Why Language Models Hallucinate?)"를 선정해 봤습니다.

저 또한 전체적으로 아주 재미나게 읽었고, 저자들이 말한, 모델이 불확실하거나 패턴이 없는 데이터에서도 생성적 완전성을 보상하는 목적 함수를 따르기 때문에, 그럴듯하지만 틀린 진술인 환각 현상이 사전 훈련(pretraining) 과정에서 발생한다고 주장에 대해 이해했습니다.

또한, 이 논문은 이러한 생성 오류와 이진 분류(binary classification)의 오분류(misclassification) 사이에 새로운 연결점을 제시합니다. 더 나아가, 논문은 환각 현상이 사후 훈련(post-training) 이후에도 지속되는 이유를 설명합니다. 이는 현재의 평가 벤치마크가 주로 이진 채점 방식을 사용하기 때문인데, 이는 모델이 불확실성을 표현하는 대신, 시험에서 점수를 최대화하기 위해 추측하는 학생들처럼 확신을 가지고 추측하도록 유도합니다. 저자들은 이러한 광범위한 평가 지표를 수정하여 불확실성을 인정하거나 답변을 유보하는 것에 보상을 제공하는 것이 더욱 신뢰할 수 있는 AI 시스템 개발을 이끌 수 있다고 제안합니다.

결론적으로, LLM 환각 현상의 근본적인 통계적 원인과 평가 시스템의 문제점에 초점을 맞춰 분석하고 있지만, 논문의 주요 논점 외에도 환각 현상을 이해하고 다루는 데 중요한 다양한 관점들을 언급하고 있어서 추천 드립니다.

#ai #openai #llm #hallucination #generativeai

참고: https://openai.com/index/why-language...