Скачать или смотреть Внутри серверных помещений для ИИ: мощность охлаждения и истинное узкое место памяти.

Современный бум ИИ зависит от подачи на ускорители огромных потоков данных с очень высокой скоростью. Этот поток — память. Высокоскоростная память (High Bandwidth Memory) обеспечивает терабайты в секунду, однако рынок её поставок ограничен. Современные технологии упаковки должны объединять вычислительные ресурсы и память на сложных подложках, и расширение этих возможностей за одну ночь — задача нетривиальная. В то же время спрос на электроэнергию в центрах обработки данных продолжает расти, поскольку более крупные модели и более длительные контекстные окна переходят из стадии исследований в производство. Компании реагируют на это внедрением жидкостного охлаждения, новых стандартов памяти, объединяющих мощности серверов, и программных методов, уменьшающих количество байтов на единицу памяти. Между тем, наём персонала смещается в сторону инженеров, владеющих как математическими методами моделирования, так и методами работы с памятью, а также команд по эксплуатации, способных планировать электропитание и охлаждение на уровне функциональных возможностей продукта. В результате возникает новое узкое место, требующее более продуманного проектирования и лучшего планирования, от закупок до ядра операционной системы и кабелей.


Главы:
00:00:00 Почему память стала узким местом
00:01:10 Внутри кризиса поставок HBM
00:02:25 Ограничения и стоимость упаковки
00:03:40 Энергопотребление и охлаждение как скрытые затраты на память
00:04:55 Наем персонала и навыки для будущего, ограниченного памятью
00:06:20 Что будет дальше и как подготовиться

История памяти для ИИ не заканчивается на чипах. После глав выше, вот более глубокий контекст. Спрос на HBM отражает переход от небольших экспериментов к обучению в масштабах целого парка устройств и постоянному инференцированию. Для поставок требуются не только пластины, но и кремниевые переходные отверстия, интерпозеры и подложки, а также квалифицированные специалисты и инструменты для их сборки. Это создает цепочку, где одно медленное звено задерживает все. За этим следуют затраты. Большее количество стеков памяти увеличивает стоимость материалов и может снизить выход годной продукции. Недостаток памяти приводит к сегментированию моделей, увеличению количества переходов по сети и более длинным барьерам обучения. Энергопотребление связывает все это. Передача данных обходится дорого в ваттах, поэтому выбор памяти влияет на охлаждение, плотность размещения в стойках и даже планирование сети. Новые стандарты, такие как CXL, позволяют объединять память в пулы для сокращения неиспользуемой мощности. Они не заменяют ближнюю память, но позволяют более эффективно использовать имеющиеся ресурсы. Программное обеспечение тоже помогает. Команда экспертов направляет только необходимые ресурсы. Квантование безопасно уменьшает размер тензоров. Эффективное внимание контролирует контекст. Извлечение данных снижает чрезмерный рост объема памяти. Наконец, рынок труда отражает проблему узкого места. Командам необходимы знания в области слияния ядер, компиляторы графов, циклы обучения с учетом пропускной способности, опыт в области жидкостного охлаждения и глубокие знания в области цепочки поставок. Лидеры, которые рассматривают память как линейку продуктов, а не как номер детали, будут поставлять продукцию более надежно, тратить меньше и потреблять меньше энергии.

Комментируйте, подписывайтесь и ставьте лайки! 👍
Не забудьте посмотреть другие наши видео! 📺
Напишите в комментариях, какие темы вас интересуют! 📝