KAIST XAI Tutorial 2024 | Explaining Language Models: Key Methods and Evaluations | Prof. Nari Kim

The impressive performance of large language models (LLMs) is garnering attention and is quickly being applied to various areas. However, a significant challenge for researchers is the lack of transparency stemming from these models' structural complexity and high-dimensional internal representations. To use language models safely, it is crucial to understand their inner workings and acknowledge their limitations. This presentation introduces essential methods for explaining language models and provides several explanation examples.

거대 언어모델(LLM)이 뛰어난 성능을 보여줌에 따라 다양한 응용분야로 빠르게 확산되고 있습니다. 그러나 거대 언어모델의 복잡성과 고차원 내부 표현으로 인해 이러한 모델의 작동 방식을 설명하는 것은 큰 도전이 되고 있습니다. 언어모델이 어떻게 작동하는지를 명확히 이해하는 것은 언어모델의 한계를 인식하고 안전하게 활용하기 위한 선결과제이기 때문입니다. 본 발표에서는 언어모델을 설명하기 위한 주요 접근방식을 소개하고 이를 판별 모델 (Discriminative Language Models) 설명에 적용한 예를 살펴봅니다.