윈도우 PC보다 2천만원은 쌉니다. 맥북이 찐 '가성비' PC 노트북이 된 사연 알려드림 / 오목교 전자상가 EP.193

어지간한 윈도우 PC에선 돌아가지도 못할, 애플 맥북으로 할 수 있는 '가장 고사양의 작업'은 무엇일까요? 정답은 바로 CHATGPT와 흡사한 인공지능 챗봇 시스템을 온디바이스로, 즉 '로컬'에서 구현하는 겁니다. 보통 이러한 인공지능 챗봇은 '대형언어모델(LLM)'을 기반으로 작동하는데요, 이 LLM 작업을 진행 시 엄청나게 많은 비디오 메모리(VRAM)을 요구하곤 합니다. 며칠 전 공개한 오픈소스 대형언어모델 '라마-3(LLAMA-3)'만 하더라도, 최고급 게이밍 RTX 4090로는 가장 경량화 버전(8B)밖에 실행할 수 없을 정도죠. 하지만 애플의 맥 컴퓨터는 전혀 상황이 다릅니다. GPU-CPU-NPU가 모두 동일한 메모리를 공유하는 고대역폭 통합 메모리 구조를 사용하고 있기 때문에, 24~32GB 통합메모리가 탑재된 기본형 맥북 에어로도 로컬 LLM을 거뜬히 돌릴 수 있습니다. 특히 192GB 메모리를 탑재한 맥 스튜디오의 경우 라마-3(LLAMA-3) 70B 버전을 작동시키는 엄청난 잠재력을 가졌는데요, 똑같은 모델을 윈도우에서 작동시키려면 수천만원짜리 전문가용 그래픽카드가 최소 두개는 필요할 정도라고 하니 그 '가성비'를 짐작할 수 있으시겠죠? 이제는 현실이 된 AI시대, 맥으로만 가능한 로컬 LLM의 세계를 오목교 전자상가와 함께 탐험해보세요!

#Apple #Mac #LLM

00:00 인트로
00:06 오프닝
00:32 '온라인' 챗봇 생각보다 위험합니다
01:47 '온라인' 챗봇 위험 해결법은?
02:11 온디바이스AI 직접해봅시다
04:06 가장 똑똑한 온디바이스AI는?
04:31 컴퓨터에 2천만원 투자 가능..?
06:39 가성비(?)의 900만원짜리 맥
08:38 최첨단 미연시 게임 플레이
10:56 모든게 단 1대의 맥으로 가능!
12:24 아웃트로