Скачать или смотреть LLM Inference benchmark

Всем привет, с вами Низамов Илья. В мире 1С есть один очень популярный тест, который показывает сколько баллов выбивает ваше железо на бизнес задачах в 1С. Это тест Гилёва.

И так как я переквалифицировался в ИИ разработчики то здесь тоже постоянно вижу схожие вопросы. LLM много, железа тоже, несколько основных инференсов которые позволяют запускать не только на GPU, но и на CPU+GPU.

Есть каналы, которые выкладывают много тестов разного железа, но все равно они не могут охватить все многообразие.

Поэтому я решил взять концепцию когда ты тестируешь что-то у себя локально, но можешь и поделиться результатами с сообществом, давая примерное понимание как будет вести себя определенная модель на определенном железе.

В общем выкладываю бенчмарк инференсов и моделей, можете использовать полностью локально, но и делиться тоже не забывайте.

Скачать исходники и сборку:
https://github.com/IlyaNizamov/Infere...

Посмотреть результаты:
https://nizamov.school/benchmarks

Страничка с тестами и сам бенчмарк не окончательные, если есть пожелания, пишите, или дорабатывайте сами.

Жду ваши отзывы в комментариях, всем удачи, пока!

#llmbenchmark #ollama #vllm #llamacpp #inferencebenchmark #локальныеllm #производительностьllm #gpubenchmark #pythonai #langchain #языковыемодели #aiбенчмарк #тестнейросетей #llmинференс #нейросети