«Яндекс» опубликовал в открытом доступе собственную языковую модель Alice AI Search Pretrain, обученную с нуля. Она стала основой службы быстрых ответов в поиске компании.
Модель компактна, что позволяет ей работать при скромных вычислительных мощностях, выдерживать высокую нагрузку и обрабатывать большие объёмы документов.
По результатам слепого тестирования, Alice AI Search Pretrain превосходит по качеству ответов сопоставимые по размеру модели — Alibaba Qwen 3.5 2B и 4B, а также Google T5 Gemma 2 4B-4B Base. Она демонстрирует уровень ответов, близкий к более требовательной к ресурсам Qwen 3.5 35B-A3B.
В «Яндекс Поиске» уже применяется дополнительно обученная версия модели — Alice AI Search, при подготовке которой учли реальные примеры пользовательских запросов.
Модель построена на гибридной архитектуре, ранее использовавшейся в основном в научных исследованиях: сочетание Encoder-Decoder и MoE (Mixture of Experts). Encoder-Decoder разделяет задачи поиска информации и формирования ответа, что делает его лаконичным.
MoE позволяет задействовать только релевантные части модели: из 35 млрд параметров для обработки одного токена используется всего 600 млн — менее 2% от общего объёма.