상업적 이용 가능한 LLM 프로젝트들

상업적 이용 가능한 LLM

Notion 페이지: https://well-chauffeur-a16.notion.sit...

GPT4All v2
https://github.com/nomic-ai/gpt4all
회사: nomic AI
GPT-J 6B. (EleutherAI) 상업적 사용가능
finetune은 Alpaca 일부 사용하는 듯(OpenAI 경쟁 상품 X)
Windows/Mac/Linux Installer 제공
CPU / 느림

Dolly 2
https://github.com/databrickslabs/dolly
회사: databricks
Pythia(EleutherAI) 상업적 사용 가능
finetune 데이터(15k) 회사 인력 이용해 만들어서 공개
12B, 7B, 3B 모델 공개
transformers 패키지 이용해서 쉽게 사용 가능 (7B, 14GB 다운로드, 15GB VRAM) - 12B는 24GB VRAM에서 불가

OpenAssistant
https://github.com/LAION-AI/Open-Assi...
서비스: https://open-assistant.io/
LLama 기반 모델(상업용 사용 X) / Pythia 기반 모델
웹사이트 내 게임화로 fine tuning 데이터를 지속적으로 모으고 있음.

RedPajama 프로젝트
https://www.together.xyz/blog/redpajama
1.2 Trillion token 교육 데이터 공개
LLama 7B, 13B 모델: 1.0 trillion token
LLama 33B, 65B 모델: 1.4 Trillion token
LLama 기본 모델(Foundation model)을 오픈소스로 다시 만드는 프로젝트
아직 training된 모델은 없고 데이터만 작업한 상태
https://huggingface.co/datasets/toget...

StableLM
Stable Diffusion 만든 Stability.ai에서 공개
1.5 Trillion token으로 교육 (The Pile 확장?)
3B, 7B 공개, 15B, 30B, 65B 공개 예정. 175B(GPT-3와 동일 크기) 계획중
Alpaca 방법으로 file-tune 모델도 공개 (Non commercial license)
7B 데모: https://huggingface.co/spaces/stabili...
transformers 패키지 이용해서 쉽게 사용 가능 (7B, 30 GB 다운로드, 17GB VRAM)

#llama #openai #chatgpt #llm #opensource #commercial