LG AI Talk Concert 2021 | 초거대 AI 세션 4 - 조현직님

"EXAONE Inference Framework 추론 인프라 최적화 프레임워크"

초거대 언어 모델은 많은 파라미터를 바탕으로 높은 성능을 얻었지만, 큰 파라미터의 모델을 안정적이고 빠르게 서비스할 수 있는 inference framework는 부족한 상태입니다.
본 세션에서는 LG AI연구원에서 초거대 언어 모델을 서비스하기 위해 연구 개발 중인 EXA Inference framework를 소개합니다.
EXA Inference Framework 분산 처리 알고리즘을 바탕으로 단일 GPU의 메모리로는 구동할 수 없는 초거대 언어 모델을 Multi GPU로 분산하여 구동할 수 있는 Framework입니다. 더불어 C++과 Custom CUDA Kernel로 최적화한 Transformer layer를 이용하여 기존 대비 약 2~2.5배의 속도 향상을 이뤘습니다.
기존의 Model 분산 처리 방법에서는 분산 처리에 사용하는 GPU의 수가 증가하면, 모델을 분산 시키는 과정에서 Host Memory 사용량이 GPU 수에 비례하여 커지는 문제가 있었습니다. 작은 모델의 서비스에서는 특별한 문제가 되지 않았던 로직이지만, 모델의 사이즈가 초거대로 커지면서 Host Memory 사용에 대한 최적화 역시 필요했습니다. EXA Inference Framework는 이를 개선하여 분산 처리에 사용되는 GPU 수에 상관없이 고정된 최소 Host Memory만 사용했습니다.

#LG_AI_Research #LG_AI연구원 #EXAONE

▶ LG AI Research 공식홈페이지: https://www.lgresearch.ai/
▶ LG AI Research 링크드인:   / lgai.  .
▶ LG AI Research 포스트: https://post.naver.com/lgairesearch/
▶ LG AI Research 페이스북:   / lgai2020  
▶ LG AI Research 채용 정보: https://www.lgresearch.ai/careers