MiniMind — открытый проект для обучения сверхлёгкой языковой модели (~64M параметров) с нуля: всего 3 рубля аренды GPU и 2 часа на одной видеокарте NVIDIA 3090. Модель почти в 2700 раз меньше GPT-3.
Открыт полный цикл: Dense и MoE архитектуры, токенизатор, Pretrain, SFT, LoRA, RLHF (DPO), RLAIF (PPO/GRPO/CISPO), Tool Use, Agentic RL, адаптивное мышление и дистилляция — всё реализовано на чистом PyTorch без сторонних абстракций.
Линейка расширена версиями MiniMind-V (визуальная), MiniMind-O (омни), MiniMind-dLM (диффузионная) и MiniMind-Linear. Есть совместимость с популярными фреймворками, оценка на C-Eval/C-MMLU и OpenAI-совместимый API-сервер с WebUI.
GitHub ★ 55,723