NVIDIA H100의 20배 성능... Cerebras의 세계에서 가장 빠른 AI 추론기 등장 | On-Chip 메모리와 웨이퍼 기반 칩 설계 의미

Описание к видео NVIDIA H100의 20배 성능... Cerebras의 세계에서 가장 빠른 AI 추론기 등장 | On-Chip 메모리와 웨이퍼 기반 칩 설계 의미

웨이퍼를 통째로 칩으로 만드는 Cerebras에서 Wafer Scale Engine-3 (WSE-3) 기반의 AI 추론 시스템을 발표하고 클라우드 서비스까지 지원합니다. 제가 직접 테스트해보니 토큰 기준으로 초당 1800토큰이 넘는데요. 실상 세계에서 가장 빠른 AI 추론기가 맞습니다. HBM이 없이도 훨씬 더 높은 대역폭을 가지는 건 Wafer에 On-Chip Memory인 SRAM을 44GB나 실은 덕분인데요. Cerebras가 추구하는 방향과 설계 구조의 의미, 앞으로 AI 시장에서의 헤게모니 싸움에 대해 정리하였습니다.
#웨이퍼 #AI칩 #Cerebras

Written by Error
Edited by 이진이

[email protected]

Комментарии

Информация по комментариям в разработке

Похожие видео