[Paper Review] Llama 2: Open Foundation and Fine-Tuned Chat Models

1. 논문 제목 : Llama 2: Open Foundation and Fine-Tuned Chat Models
2. Arxiv 링크 : https://arxiv.org/abs/2307.09288
3. 발표 컨퍼런스 : 2023 ArXiv
4. 인용 수 : 1회 (2023년 07월27일 기준)
5. 1저자 : Hugo Tuovron
6. 요약
지난 2월 Meta에서 LLAMA 모델을 공개한 이후로 LLM에 대한 매우 활발한 연구가 이루어지고 있습니다. 특히 Alapca, Vicuna, LIMA 등으로 이어지는 일련의 연구들은 Open-Source LLM에 대해 복잡한 학습 구조없이도 충분히 Instruction Tuning이 가능하다는 점을 보이고 있습니다.

이에 LLAMA 2에서는 많은 예산을 들여 Fine Tuning이 가능한 환경에서 SFT, Human Preference 데이터 구축 및 학습 파이프라인 설계에 대한 가이드라인을 제공하고 있습니다. 단순히 모든 과정을 Human Annotator에게 맡기는 것이 아니라, 기존에 활발히 연구된 Supervised Fine-tuning 방법론과 Reward Model의 연결점을 찾아 개선시킨 점이 매우 인상적인 논문입니다.

본 세미나에서는 LLAMA 2에서 제안한 Iterative Fine-Tuning의 기반이 되는 관련연구를 살펴보고, Iterative Fine-Tuning의 각 단계 별 요소 및 데이터 구축 과정을 자세히 살펴보면서, ChatBot의 Safety를 확보하기 위한 일련의 과정을 돌이켜보는 시간을 가지고자 합니다.

7. 발표 구성
- SFT and RLHF : LLM Fine-Tuning의 대표적 두가지 방법론에 대한 개괄적 설명
- SFT Dataset construction & Evaluation : 기존 연구에서 수행된 SFT 데이터 구축 및 데이터셋 품질 평가 방법론
- LLAMA 2 : LLAMA 2 모델의 Pretrain 및 Iterative Fine-Tuning 방법론 소개
- Result & Analysis : LLAMA 2 모델의 성능 및 학습 과정에서 발생하는 다양한 요소에 대한 분석
- Conclusion : LLAMA 2의 의의 요약 및 한계점
-
8. KEYWORDS : Large Language Model, LLM, Open Source LLM, LLAMA2