Bonsai — семейство языковых моделей с экстремальным сжатием, которые запускаются локально на Mac (Metal), Linux/Windows (CUDA, Vulkan, ROCm) или CPU. Демо-репозиторий поднимает чат в две команды.
Доступны две линейки — Ternary-Bonsai (по умолчанию, ~1.7 бит на вес, выше качество) и 1-bit Bonsai (~1.125 бит, влезает на iPhone без выгрузки памяти). Каждая идёт в размерах 27B, 8B, 4B и 1.7B.