LaDiR генерирует скрытые цепочки рассуждений, которые на старте выглядят как случайный шум, а затем постепенно превращаются в логичные шаги. Фреймворк запускает несколько параллельных процессов, каждый из которых проходит свой путь «очистки». Специальный механизм заставляет эти ветви исследовать разные варианты, чтобы они не сходились к одному решению слишком рано. Когда модель считает, что размышление завершено, она переходит к последовательному созданию итогового ответа.
Сочетая диффузию и авторегрессию, LaDiR (Latent Diffusion Enhances LLMs for Text Reasoning) работает как надстройка над существующими языковыми моделями. На этапе размышления система обрабатывает множество токенов одновременно с помощью диффузии, а финальный ответ генерирует по одному токену. Такой подход меняет алгоритм мышления LLM, не заменяя саму нейросеть.
В задачах планирования, например в игре Countdown, LaDiR находил больше верных решений, чем любая базовая модель, и превосходил все ИИ-системы общего назначения по надёжности. Однако в сценариях, где критична точность с первой попытки, фреймворк уступил узкоспециализированным моделям. Несмотря на сложность, авторы считают, что метод открывает новые возможности для улучшения логики и генерации текста в языковых моделях.
Для тестирования LaDiR применили к m*** LLaMA 3.1 8B (математика и головоломки) и к Qwen3-8B-Base (код). В математических бенчмарках фреймворк показал точность выше существующих подходов, уверенно справляясь даже с нестандартными задачами. В бенчмарке HumanEval код, сгенерированный с LaDiR, оказался надёжнее результатов стандартной тонкой настройки, особенно при сложных проблемах.
Разработчиками LaDiR выступили исследователи Apple и учёные из Калифорнийского университета в Сан-Диего. Их фреймворк улучшает качество ответов больших языковых моделей, позволяя нейросетям тестировать несколько вариантов рассуждений параллельно перед выдачей результата.
0 комментариев