Colibrì — инференс-движок для запуска гигантских MoE-моделей (744B–2.8T параметров) на потребительском и гетерогенном железе. Написан на чистом C без внешних зависимостей, объединяет хранилище, RAM и VRAM в единую иерархию памяти для инференса.
Сегодня доступны восемь семейств моделей: GLM-5.2/5.3, GLM-5.3-Flash, Inkling, Kimi K3, DeepSeek V4 Flash, Qwen3.8-Flash-Next, Qwen3.6 и OLMoE — каждая в одном C-файле с общим фронтендом. Веб-панель и страницы Brain/Atlas показывают токены, задержку и работу 19 456 экспертов в реальном времени.
Colibrì снимает зависимость от дорогого проприетарного железа: 744B-модель можно запустить на уже имеющемся оборудовании, наблюдать работу каждого эксперта и менять код инференса. При этом нехватка быстрой памяти влияет только на скорость, но не меняет точность или логику маршрутизации модели.
GitHub ★ 27,269