Тег

#tool calling

Все топики с тегом #tool calling.

Sonata

Needle 2: компактная модель для вызова инструментов и работы на устройствах

image source

Needle 2 — открытая модель на 45 млн параметров для вызова инструментов, работы с устройствами и извлечения структурированных данных. Модель умещается в единый бинарник 14 МБ и работает в сессии, используя около 28 МБ ОЗУ. Она построена на архитектуре Simple Attention Network, сжата до CQ2-бит с помощью Cactus Quants и встроена в собственный движок — по бенчмаркам конкурирует с FunctionGemma 270M, LFM2.5 230M и Apple FM, будучи в 5–70 раз меньше и используя 2 бита вместо f16.