Needle 2 — открытая модель на 45 млн параметров для вызова инструментов, работы с устройствами и извлечения структурированных данных. Модель умещается в единый бинарник 14 МБ и работает в сессии, используя около 28 МБ ОЗУ. Она построена на архитектуре Simple Attention Network, сжата до CQ2-бит с помощью Cactus Quants и встроена в собственный движок — по бенчмаркам конкурирует с FunctionGemma 270M, LFM2.5 230M и Apple FM, будучи в 5–70 раз меньше и используя 2 бита вместо f16.
Ключевые особенности: автономность — веса в одном файле, инференс без сети; простой контракт — текст на входе, JSON на выходе, грамматика ограничивает каждый токен; калиброванная уверенность в каждом ответе; retrieval инструментов из большого каталога и ограниченная память — окно 256 токенов, потребление держится около 28 МБ независимо от длины диалога.
Архитектурно Needle 2 — плотная сеть с Hadamard MLP вместо FFN, GQA-вниманием, engram key-value памятью и многоканальными hyper-connections. Инструменты можно описывать тремя способами: от простого декоратора функции до продвинутых схем с явными ограничениями значений и типов.
GitHub ★ 3,845