Bonsai — семейство языковых моделей с экстремальным сжатием, которые запускаются локально на Mac (Metal), Linux/Windows (CUDA, Vulkan, ROCm) или CPU. Демо-репозиторий поднимает чат в две команды.
Доступны две линейки — Ternary-Bonsai (по умолчанию, ~1.7 бит на вес, выше качество) и 1-bit Bonsai (~1.125 бит, влезает на iPhone без выгрузки памяти). Каждая идёт в размерах 27B, 8B, 4B и 1.7B.
Старшие модели 27B — vision-language: принимают фото, скриншоты и PDF. Есть агентные вызовы инструментов в стиле OpenAI и MCP, режим рассуждений и контекст 256k+ токенов. Форматы Q1_0 и Q2_0 попадают в mainline llama.cpp.
GitHub ★ 1,360