Секреты сборки компьютера для инференса LLM. Нейросети запускаем локально.

Делюсь своим опытом построения домашнего компьютера, специально предназначенного для запуска нейросетей. Основная нейросеть для запуска - Lama 3 70b instruct, качество которой сравнимо с ранними версиями GPT-4. В этой сборке используется 3 видеокарты 3090ti.

GPU сервера immerse cloud:
https://immers.cloud/signup/r/2024052...

Большой тест видеокарт:
   • Большой тест видеокарт для инференса ...  

Получить доступ к этому серверу по API :
https://rus-gpt.com/

Таймкоды:
0:00 Llama 3. требования к видеокартам
0:35 immers.cloud
2:40 старый компьютер
3:00 материнская плата
3:17 корпус или каркас
3:47 pcie райзеры
4:36 влияние pcie на скорость LLM
6:25 процессор
6:48 оперативная память
7:15 диски
7:45 блок питания
9:52 доступ к моему серверу

Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8KEP2v