DwarfStar — компактный нативный движок инференса, оптимизированный под DeepSeek V4 Flash. Также поддерживаются GLM 5.2 и DeepSeek V4 PRO на системах с большим объёмом памяти. Это не универсальный GGUF-раннер, а узкий проект.
Загрузка моделей, рендеринг промптов, вызовы инструментов, KV-состояние, HTTP-сервер и кодовый агент собираются и тестируются вместе. В репозиторий входят инструменты для GGUF, imatrix, проверки качества и скорости.
Основная платформа — Metal на Mac с 96 ГБ и больше; на слабых машинах помогает SSD-стриминг. Есть CUDA с мульти-GPU и DGX Spark, а также ROCm на Strix Halo, например Framework Desktop.
На сборке из 8×L40S авторы получили около 120 t/s генерации и 2000 t/s префилла при нескольких сессиях. Два MacBook по RDMA тянут 4-битный DeepSeek Flash с тензорным параллелизмом, а конвейерный режим суммирует память систем.
Проект существует благодаря пути, открытому llama.cpp и GGML: часть квант-раскладок, CPU-логики и ядер адаптирована под лицензией MIT.
Код создан при активной помощи GPT 5.5, 5.6 и Claude, а идеи, тесты и отладку ведут люди. Софт быстро меняется, статус — бета: перед каждым релизом идёт большой прогон QA, но нестабильности возможны.
GitHub ★ 19,825