Nvidia анонсировала новую технологию NVHBM в рамках программы NVLink Fusion. Это специализированная архитектура базового кристалла HBM для разработчиков собственных ИИ-ускорителей, обещающая ощутимые преимущества перед стандартной HBM4e.
Главный плюс NVHBM — снижение энергопотребления памяти до 15% по сравнению с обычной HBM4e. Освободившийся энергетический и тепловой запас можно направить на увеличение вычислительной мощности ускорителя либо на повышение устойчивой производительности при том же уровне потребления.
По расчётам Nvidia, эффект особенно заметен в масштабе крупных дата-центров. В гипотетическом ЦОД мощностью 1 ГВт с ускорителями по 2000 Вт сэкономленной энергии хватило бы на работу ещё 15 000 дополнительных XPU.
Важно, что NVHBM не заменяет саму HBM, а служит одним из строительных блоков для специализированных ускорителей партнёров Nvidia. Технология обещает прирост пропускной способности памяти до 30% на стек по сравнению со стандартной HBM4e.
Для задач, ограниченных скоростью памяти, это позволит эффективнее загружать вычислительные блоки. При инференсе больших языковых моделей более быстрый обмен данными между HBM и вычислительными ядрами увеличит скорость генерации токенов.
Повышенная пропускная способность в сочетании со сниженным энергопотреблением критически важна для ИИ-ускорителей, которым приходится непрерывно перемещать огромные объёмы данных — веса моделей, KV-кеш и активации.
По заявлению Nvidia, сочетание NVHBM с NVLink Fusion за счёт выигрыша в пропускной способности, площади и энергопотреблении способно суммарно повысить производительность одного XPU на 30%.
NVHBM представляет собой специализированный базовый кристалл HBM, разработанный и протестированный совместно с ведущими производителями памяти. Участники программы NVLink Fusion получат готовое решение вместо самостоятельной разработки и сертификации подсистемы HBM, что сократит сроки вывода новых чипов на рынок.
Экономия площади достигается благодаря переработанному физическому интерфейсу памяти. Контроллер перенесён с основного вычислительного кристалла в базовый кристалл трёхмерного стека HBM, а площадь PHY и связанной логики сокращена до 67% по сравнению со стандартом JEDEC HBM4e.
Более узкий интерфейс также упрощает разводку интерпозера. В итоге разработчики специализированных ускорителей могут получить до 30% дополнительной площади основного кристалла для вычислительных блоков и других функций.
Одним из первых партнёров Nvidia по внедрению новой технологии станет Annapurna Labs, принадлежащая Amazon. Ускорители следующего поколения Trainium 4 уже получат поддержку NVLink Fusion, а в последующих разработках компания сможет применить и NVHBM.