[SK TECH SUMMIT 2023] LLM 적용 방법인 RAG VS PEFT, Domain 적용 승자는?

국내 최대 기술 컨퍼런스 'SK TECH SUMMIT 2023'
오늘의 기술이 만들어가는 더 편리하고 안전한 내일의 모습을 선보입니다.
최고의 기술 기업과 전문가들이 경험과 노하우를 나눈 특별한 발표 세션을 만나 보세요.

[발표 내용]
이번 세션에서는 LLM을 특정 도메인에 맞춰 사용하는 방법 중, RAG와 PEFT를 중심으로 비교하여 설명해 드립니다.

ChatGPT 공개 이후 다양한 LLM, 비교적 크기가 작은 sLLM 등의 모델들이 공개되고 있고, 기업에서는 이를 내부 데이터를 활용하여 자체 비즈니스에 최적화 된 챗봇으로 개발하려는 시도가 많습니다.

하지만 이미 방대한 규모의 데이터로 학습된 모델들을 회사가 가지고 있는 데이터로 Fine-tuning 하기엔 데이터의 양, 컴퓨팅 자원 등의 이유로 어려움이 따릅니다.

이를 해결할 방법으로 RAG, PEFT 방법이 활발하게 사용되고 있습니다. SK브로드밴드는 내부 가용 데이터(상담사 매뉴얼, 법무 검토 자료)로 LLM(sLLM)에 RAG, PEFT를 활용하여 PoC를 진행하였습니다. 이 과정에서 얻은 LLM(sLLM) 모델 활용을 위한 AWS 환경 구축 및 Domain 특화 LLM 모델 개발 관련 노하우들을 공유해 드리도록 하겠습니다.

[발표자 소개]
김현석 (SK브로드밴드)
대학원에서 자율주행차량의 Perception, Path Planning, 그리고 설계 데이터 기반 딥러닝 모델링을 연구하였고, 이후 반도체 업계에서 잠시 ML Engineer로 근무했습니다.

SK브로드밴드에서는 데이터 사이언티스트로서 NLP를 활용한 콘텐츠 메타데이터 발굴, 콘텐츠 시청 예측 과제 및 사내 데이터 교육 등을 수행하고 있습니다.

특정 도메인에 얽매이지 않는 데이터 사이언티스트가 되는 것을 목표로 열심히 성장하고 있는 3년차 주니어입니다.

#SK TECH SUMMIT 2023 #SK테크서밋 #개발자컨퍼런스 #AI컨퍼런스