Скачать или смотреть MiniCPM-V 4.5: Эффективный 8B-мультимодальный LLM

В этом выпуске обзора исследований ИИ Алекс обсуждает статью:
«MiniCPM-V 4.5: создание эффективных многоуровневых линейных моделей (MLLM) с использованием архитектуры, данных и рецепта обучения»
MiniCPM-V 4.5 — это многомодальная модель LLM с 8B-параметрами, разработанная для повышения эффективности, снижения нагрузки на память графического процессора и задержек, связанных с длинными последовательностями визуальных токенов и нестабильными конвейерами документов/OCR. В ней представлен унифицированный 3D-ресэмплер, который сжимает изображения и видео в гораздо меньшее количество токенов (например, около 64 для изображений 448×448; около 128 для 6-секундного видео 448×448 с частотой 2 кадра в секунду), что обеспечивает сокращение объёма в 12–96 раз. Унифицированный подход к обучению на основе документов динамически повреждает текстовые области, что позволяет модели переключаться между OCR, интегрированным выводом и контекстной реконструкцией без внешних парсеров. Гибридный конвейер RL дополнительно сокращает объём выводимых данных, повышая как точность, так и эффективность выполнения.
URL статьи: https://arxiv.org/abs/2509.18154

#AI #MachineLearning #DeepLearning #Multimodal #LLM #OCR #VideoUnderstanding #TokenCompression

Ресурсы:
GitHub: https://github.com/OpenBMB/MiniCPM-V
Модель Hugging Face: https://huggingface.co/openbmb/MiniCP...