Скачать или смотреть GPULlama3 java: За пределами вывода ЦП с современной Java Михалиса Пападимитриу

Поскольку большие языковые модели (LLM) становятся критически важными для приложений искусственного интеллекта (ИИ), разработчики Java теперь могут выполнять мощный локальный вывод, используя современные функции JDK, не полагаясь на Python или специализированные среды выполнения. Благодаря векторному API Java 21+ и таким проектам, как JLama и llama3.java, экосистема JVM теперь поддерживает эффективный, нативный вывод на CPU для популярных моделей с открытым исходным кодом, таких как Llama 2/3, Gemma и Mistral. В то же время вычисления на GPU для Java достигают нового уровня зрелости благодаря TornadoVM. В этом докладе будет представлен GPULlama3.java, фреймворк с открытым исходным кодом, построенный на основе llama3.java, который использует TornadoVM для переноса вычислений вывода на GPU, используя свой API. GPULlama3 демонстрирует, как включить типы данных половинной точности в JVM, выразить матричные операции, оптимизированные для GPU, реализовать быстрое Flash Attention и обеспечить совместимость с моделями Llama 2/3 и Mistral. Кроме того, будет продемонстрирована интеграция с LangChain4j для бесперебойного выполнения GPU в системах вывода на основе Java. В заключение, сессия будет включать в себя живую демонстрацию работы GPULlama3.java на любом JDK и оборудовании, от Apple Silicon до высокопроизводительных графических процессоров NVIDIA. Также будет рассмотрено использование инструментов профилирования и анализа TornadoVM для оценки производительности GPU в процессе вывода. Независимо от того, разрабатываете ли вы приложения с ИИ на JVM или масштабируете LLM на Java с помощью современных средств ускорения, эта сессия даст вам чёткое представление о реализации GPU-инференса в полностью нативном стеке Java.