Скачать или смотреть Объяснение токенизации OpenAI: почему слова разделяются на несколько токенов

В этом видео мы рассмотрим, как токенизаторы OpenAI разбивают текст, показывая, почему такие модели, как GPT-3.5 и GPT-4, часто разбивают длинные или сложные слова на несколько токенов.

Вы узнаете, как токенизация подслов помогает моделям эффективно понимать новые слова, поддерживает небольшой размер словаря и сокращает общие параметры модели, одновременно улучшая обобщение.

Мы также покажем, как использовать библиотеку TikToken от OpenAI для проверки токенизации, оценки затрат и подсчёта токенов в ваших запросах перед их отправкой в ​​API.

Вы узнаете, как:

— Понять, как токенизаторы GPT разбивают текст на подслова.
— Узнаете, почему префиксы и суффиксы (например, «un-», «re-», «-tion») становятся отдельными токенами.
— Узнаете, как токенизация подслов сокращает словарный запас и размер модели.
— Сравнивать примеры с помощью онлайн-инструмента токенизации OpenAI.
— Использовать библиотеку Python `tiktoken` для подсчёта токенов и оценки стоимости.

Посмотрите это видео, если хотите понять, как работает токенизация GPT, или если вы оптимизируете длину, стоимость или тонкую настройку эффективности.

Это видео является частью программы сертификации LLM Engineering & Deployment Certification Program от Ready Tensor.

✅ Зарегистрируйтесь сейчас:
https://app.readytensor.ai/certificat...

О Ready Tensor:
Ready Tensor помогает специалистам в области искусственного интеллекта и машинного обучения создавать и оценивать интеллектуальные, целеустремленные системы, а также демонстрировать их на сертификациях, конкурсах и в публикациях реальных проектов.

🌐 Узнайте больше: https://www.readytensor.ai

👍 Понравилось видео? Подпишитесь и расскажите нам, какие ещё концепции инженерного обучения на программах магистратуры им. Л.М. вы хотели бы видеть в следующий раз!