llmfit — терминальный инструмент, который подбирает LLM-модели под вашу систему. Он определяет RAM, CPU и GPU, оценивает каждую модель по качеству, скорости, размещению и контексту и подсказывает, что реально запустится на вашей машине.
Поддерживаются сотни моделей и провайдеров. Инструмент работает с multi-GPU, MoE-архитектурами, динамическим выбором квантизации и локальными рантаймами: Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio. Есть интерактивный TUI и классический CLI-режим.
Новинка: бенчмарк и обмен результатами. Загрузите модель, запустите её и измерьте реальные tok/s прямо из TUI, а затем отправьте результаты в проект через PR — без CLI и сторонних аккаунтов. Каждый запуск сохраняется локально.
Ваши измерения заменяют оценки в fit-таблице, а принятые вклады попадают в следующий релиз: пользователи с таким же железом получат реальные цифры ещё до собственного бенчмарка. Оценки скорости основаны на модели пропускной способности памяти и реальных замерах сообщества.
GitHub ★ 29,955