Скачать или смотреть Установка и запуск DeepSeek-V3 LLM локально на GPU с помощью llama.cpp (сборка из исходного кода)

#llm #machinelearning #deepseek #llamacpp #llama
Создание этих бесплатных видеоуроков требует значительного количества времени и сил. Вы можете поддержать меня следующим образом:
Купите мне кофе: https://www.buymeacoffee.com/Aleksand...
PayPal: https://www.paypal.me/AleksandarHaber
Patreon: https://www.patreon.com/user?u=320801...
Вы также можете нажать кнопку «Спасибо» в YouTube Dollar.

В этом уроке мы объясним, как установить и запустить (квантованную) версию DeepSeek-V3 на локальном компьютере с помощью llama.cpp. Чтобы использовать ресурсы графического процессора, сначала объясним, как собрать llama.cpp из исходного кода с помощью компиляторов CUDA и C++.

llama.cpp — мощная и простая в использовании программа для запуска больших языковых моделей на локальных компьютерах.

Мы установим и запустим квантованную версию DeepSeek-V3 на локальном компьютере.

Необходимые условия:
200 ГБ дискового пространства для самой маленькой модели и более 400 ГБ дискового пространства для более крупных моделей.

Значительный объём оперативной памяти. В нашем случае у нас 48 ГБ оперативной памяти, и вывод модели происходит относительно медленно. Вероятно, скорость вывода можно увеличить, добавив оперативную память.

Достойный графический процессор. Мы проводили тесты на графическом процессоре NVIDIA 3090 с 24 ГБ видеопамяти. Более мощный графический процессор, безусловно, увеличит скорость вывода.