Sonata

Qualcomm показала новый NPU для Snapdragon 8 Gen 6 с упором на ИИ-агентов

image source

Qualcomm раскрыла подробности нового NPU Hexagon для чипов Snapdragon 8 Gen 6, включая флагманскую версию Elite. Главная цель обновления — ускорить работу ИИ-агентов прямо на устройстве.

По заявлению компании, новый модуль обеспечивает на 50% более высокую производительность на этапе предварительной обработки и увеличенную пропускную способность при декодировании для моделей с поддержкой INT4. Это не означает общий прирост производительности на 50%, но ускоряет обработку запросов и многоэтапных задач.

Ключевые изменения — обновлённый Element Accelerator, расположенный рядом с блоками скалярных, векторных и тензорных вычислений, а также значительно увеличенный объём встроенной памяти. Это снижает зависимость от оперативной памяти устройства и позволяет NPU держать в памяти больше контекста для тяжёлых агентных задач.

Hexagon NPU получил поддержку архитектуры Mixture-of-Experts, которая направляет запросы через специализированные экспертные модели в зависимости от входных данных. Это снижает нагрузку на вычислительные ресурсы и позволяет запускать локально модели размером до 30 млрд параметров.

По словам Qualcomm, совокупность улучшений сделает реальные агентные рабочие процессы более быстрыми и отзывчивыми без дополнительных энергозатрат.

Ранее компания уже представила обновлённую архитектуру ядер Oryon с частотой выше 5 ГГц и улучшенную графическую подсистему с новой технологией масштабирования кадров. Полностью новые чипы Snapdragon 8 Gen 6 Qualcomm покажет на мероприятии Snapdragon Summit 22 сентября.

источник

Загрузка страницы