Рекурсивные языковые модели (RLMs): новый подход к инференсу

Recursive Language Models (RLMs) — новая парадигма инференса для языковых моделей, позволяющая обрабатывать контексты почти бесконечной длины. Модель может программно анализировать вход, разбивать его и рекурсивно вызывать себя, используя REPL-среду, где контекст является переменной.

В основе RLMs лежит идея CodeAct: все языковые модели должны иметь доступ к среде выполнения кода. Подвызовы моделей выступают функциями, контексты и промпты — объектами. Этот подход отказывается от JSON-формата для вызова инструментов, открывая путь к гибкому масштабированию при правильном обучении.

Репозиторий предоставляет расширяемый движок инференса и среду обучения для RLMs, поддерживая облачные API и локальные модели. Включает среду тренировки верификаторов на основе prime-rl. Эксперименты описаны в блоге 2025 и arXiv-препринте. Открытые вклады приветствуются.

GitHub ★ 4,803