Скачать или смотреть OpenAI, 구글, 클로드 다 마찬가지... 입력 길이 길어지면 생각보다 훨씬 더 성능 떨어진다 - 어떻게 대응해야 하나 | 컨텍스트 엔지니어링

많은 사람들은 최신 대형 언어 모델(LLM)이 긴 문맥도 완벽하게 처리할 것이라고 믿지만, 실제로는 그렇지 않습니다. 연구 결과에 따르면, LLM의 성능은 입력 길이가 길어질수록 예측 불가능하게 불안정해지며, 심지어 매우 간단한 작업에서도 이러한 현상이 나타납니다. 이는 '컨텍스트 로트(Context Rot)' 현상으로 불리며, 모델이 100번째 토큰을 처리하는 것처럼 10,000번째 토큰도 동일하게 신뢰성 있게 처리한다는 가정이 틀렸음을 보여줍니다.

흔히 사용되는 '니들 인 어 헤이스택(NIAH)' 같은 벤치마크는 단순히 특정 문장을 찾아내는 어휘적 일치 과제에 불과해, 실제 복잡한 응용 프로그램에서의 LLM 성능을 제대로 반영하지 못합니다. 이 보고서에서는 작업의 복잡성은 유지한 채 오직 입력 길이만을 변화시켜 '입력 길이'가 LLM 성능에 미치는 영향을 순수하게 측정했습니다.
놀랍게도, 질문-답변 유사도가 낮을수록, 즉 내용이 모호할수록 성능 저하가 더 빠르게 나타났습니다. 또한, 핵심 정보와 유사하지만 오답을 유도하는 '방해 요소(distractors)'가 많아질수록 모델의 성능은 현저히 떨어지며, 이러한 영향은 입력 길이가 길어질수록 더욱 증폭되었습니다. 심지어 문맥이 논리적인 흐름을 가질 때보다 문장들이 무작위로 섞여 있을 때 모델 성능이 더 좋다는 의외의 결과도 나왔습니다. 이는 모델의 내부 처리 방식, 특히 어텐션 메커니즘이 입력 구조에 민감하게 반응할 수 있음을 시사합니다.
반복되는 단어를 그대로 따라 쓰는 간단한 복사 작업조차도 입력 및 출력 길이가 길어질수록 모델이 실패하는 경향을 보였습니다. 심지어 GPT-4.1, Claude 4, Gemini 2.5, Qwen3과 같은 최첨단 모델들도 이러한 문제에서 자유롭지 않았습니다. 이는 실제 복잡한 AI 응용 프로그램에서는 '컨텍스트 로트' 현상으로 인한 성능 저하가 훨씬 심각할 수 있음을 의미합니다. 따라서 모델의 신뢰성 있는 성능을 위해서는 '컨텍스트 엔지니어링', 즉 모델에 정보를 어떻게 제시하는지가 매우 중요합니다.

논문: https://research.trychroma.com/contex...

Written by Error
Edited by 이진이

[email protected]