Потребительские качества ИИ определяются не миллиардами параметров моделей, а практическим применением и доступностью интерфейса. Маршрутизация запросов помогает обходить ограничения и обеспечивать высокую скорость работы нейросетей — считают опрошенные Forbes эксперты.
При наличии оркестратора не всегда нужно обращаться к самым мощным моделям — они становятся взаимозаменяемым ресурсом. Решается и задача хранения контекста: держать его внутри модели зачастую слишком расточительно.
Инженеры «Яндекса» готовят единую систему, объединяющую оркестратор из собственных моделей компании и открытых нейросетей. Именно эта система ляжет в основу «Алисы AI», рассказал руководитель направления «Алисы» и умных устройств «Яндекса» Валерий Стромов.
Первая версия оркестратора уже работает внутри компании, а в сентябре должна выйти общедоступная сборка.
«Наша стратегическая задача — уйти от парадигмы одной модели к нескольким, часть из которых будут опенсорсными, создать систему умного распределения задач для максимального качества по минимальной стоимости и дать модели „руки“ в физическом мире», — пояснил Стромов.
По его словам, «Алиса» сможет использовать разные сервисы, формировать память о пользователе или бизнесе и запускать код. «Мы хотим стать пионерами этого подхода в России», — добавил он.
Когда число ИИ-моделей становится слишком большим, оркестратор начинает испытывать затруднения, и качество его работы падает.
«В первой версии мы будем жить с тремя–пятью моделями-экспертами. Львиная доля задач — около 80–90% — будет работать на нашей модели, а узкоспециализированные задачи будут отправляться в опенсорсные модели», — рассказал Стромов.
По его мнению, такой подход позволит переигрывать компании вроде Google, у которых пока одна модель, — а значит, её приходится делать умной сразу во всех сферах, что требует заметно больше ресурсов.
«Яндекс» разрабатывает систему не из-за моды на тренды, а по инженерной необходимости: инференс, то есть запуск уже обученных моделей, обходится дорого. Компания стремится дать пользователю и бизнесу максимум пользы при минимуме затрат ресурсов.
В прошлом году «Яндекс» вложил в «Алису AI» 55 млрд рублей, и в этом году сумма останется прежней. Однако на фоне трат мировых технологических гигантов это относительно небольшая сумма, признал Валерий Стромов.
«Яндекс» ведёт разработку системы оркестратора ИИ-моделей, которая обеспечит умное распределение задач между нейросетями для достижения максимального качества при минимальной стоимости, сообщили Forbes в компании. По словам экспертов, за рубежом подобные решения уже существуют и пользуются популярностью.