Miles — высокопроизводительный фреймворк для обучения с подкреплением, созданный для пост-тренинга крупных моделей enterprise-уровня. Он объединяет SGLang для быстрого rollout и Megatron-LM для масштабируемого обучения, предоставляя точность, стабильность и наблюдаемость на уровне триллионов параметров.
Среди ключевых возможностей: полностью асинхронный RL с разделением rollout и обучающих воркеров, быстрый агентный rollout через SGLang с балансировкой нагрузки, а также обновление весов за секунды даже для моделей масштаба Kimi-K2.6 благодаря P2P RDMA.
Фреймворк поддерживает низкоточное обучение (MXFP8, NVFP4, FP8, INT4 QAT), LoRA и multi-LoRA адаптеры, а также технологию token-in-token-out без промежуточной детокенизации. Реализованы отказоустойчивость воркеров, day-0 поддержка новых моделей (DeepSeek-V4, Kimi-K3, GLM-5.2) и широкий набор рецептов: GRPO, GSPO, PPO, REINFORCE++, SFT.
Поддерживается широкий спектр оборудования — NVIDIA GB300/B200/H100/A100 и AMD MI300X/MI355X — а также агентные среды для обучения coding- и computer-use агентов через Harbor, HUD, NeMo Gym и другие коннекторы.
GitHub ★ 2,451