Большой тест видеокарт для инференса Llama 3 70b 8b. RTX 4090 3090 A100 H100...

В этом видео массовое тестирование видеокарт для нейросетей. В тесте участвуют две нейросети: Llama 3 8b и Llama 3 70b. Тестируются игровые видеокарты разных поколений: Nvidia RTX 4090, RTX 3090, RTX 3090 ti, RTX 2080 ti. Среди серверных карт тестируются Nvidia A100, Nvidia H100.

GPU сервера immerse cloud:
https://immers.cloud/signup/r/2024052...

Бенчмарк из видео для тестирования:
https://github.com/kulievvitaly/rus_g...

LLama 3 8b 70b api:
https://rus-gpt.com/

Таблица с результатами(В дальнейшем заметил, что на производительность может сильно влиять версия софта и параметры запуска. Используйте бенчмарк только для оценки):
https://docs.google.com/spreadsheets/...

Таймкоды:
0:00 описание теста
0:59 immerse cloud
1:20 стоимость аренды видеокарт
2:45 LLM токены и промпты
4:25 Llama 8b instruct
11:15 Llama 70b instruct
14:40 энергопотребление
15:25 покупка видеокарт
17:44 Llama 3 API
19:04 codeGPT - плагин для pycharm

Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8K1Rvg