Apple ведёт переговоры со стартапом PrismML об использовании технологии сжатия больших языковых моделей. Цель — запускать мощный ИИ прямо на iPhone, без облака и подключения к сети.
Локальный ИИ даст пользователям полную конфиденциальность, мгновенный отклик и независимость от связи. Apple также избавится от огромных расходов на серверные вычислительные мощности.
PrismML сжал модель Qwen 3.6 от Alibaba (27 млрд параметров) для запуска на iPhone 17 Pro. Объём в памяти сократился с 54 до менее чем 4 ГБ — все параметры активны одновременно.
Стартап использует 1-битные и троичные архитектуры: память экономится до 14 раз, скорость работы — до 8 раз выше нормы. Это принципиально иной подход в сравнении с «разрежёнными» моделями.
PrismML основан выходцами из Калифорнийского технологического института (Caltech) и пока работает в закрытом режиме. Информацию о переговорах опубликовал ресурс The Information.
0 комментариев