😎(자막추가)_알파카 Alpaca 코드리뷰 feat, LLaMa + GPT3.5😎

Описание к видео 😎(자막추가)_알파카 Alpaca 코드리뷰 feat, LLaMa + GPT3.5😎

😎Stanford University에서 공개한 LLaMA 파인튜닝 모델인 알파카(Alpaca) 코드에 대해 분석한 내용입니다.

00:20 알파카 소개
01:55 학습 프로세스
04:00 모델 평가
04:25 self-instruct
07:15 Prompt 템플릿
08:20 데모
09:40 학습 데이터 링크
10:25 데이터 생성 코드
12:50 코드분석

이 모델은 Self-Instruct 방식으로 OpenAI의 text-davinci-003 API를 사용하여 대화 스크립트를 생성하고, A100 GPU 8대로 3시간 학습하여 100달러 미만의 가격으로 파인튜닝을 수행했습니다. 이 모델의 성능은 GPT3.5와 유사하다고 주장하고 있습니다. 이번 공개된 정보는 Self-Instruct 기법을 사용하여 모델차원에서 파인튜닝을 위한 데이터세트를 자동으로 생성하는 방법을 이해할 수 있으며, 적은 비용으로 직접 생성할 수 있다는 점에서 의미가 있습니다. 😎

Stanford alpaca
https://github.com/tatsu-lab/stanford...

alpaca-lora 경량화
https://github.com/tloen/alpaca-lora

LLaMA 소개영상
   • ChatGPT보다 성능이 더 뛰어나다? _  메타의 언어모델, LL...  

Комментарии

Информация по комментариям в разработке

Похожие видео