Компании всё острее ощущают, насколько дорогим становится развёртывание ИИ-решений, и стремятся сократить расходы. Open-source модели предлагают значительно более низкую стоимость за токен, но подобрать подходящую модель под конкретную задачу непросто.
В четверг компания Writer, разрабатывающая ИИ-инструменты и агентов для маркетологов, представила новую флагманскую модель Palmyra X6, призванную решить эту проблему для своих клиентов.
Модель построена на базе открытой системы GLM-5.2 от Z.ai с дополнительным пост-тренингом. По заявлению Writer, новая система обеспечивает готовые к развёртыванию возможности по значительно более низкой цене.
По оценкам компании, новая модель в сочетании с изменениями в инфраструктуре агентского харнесса позволит клиентам сократить расходы на базовые задачи до 50%.
Одновременно с новой моделью Writer выпустила существенные обновления стандартного агентского харнесса. Обе новинки станут доступны клиентам компании начиная с четверга.
"Корпоративный сектор просто устал гнаться за очередным бенчмарком", — заявила TechCrunch генеральный директор Writer Мэй Хабиб. "Клиентам нужны стабильные и предсказуемые расходы, и, похоже, никто не может этого обеспечить".
Новый подход делает акцент на сложных многоэтапных задачах, которые выполняются быстрее и с меньшим количеством токенов. В Writer считают оптимизацию харнесса ключевым рычагом для достижения этой цели.
Недавнее исследование сотрудников Writer подтверждает эту гипотезу: небольшие изменения в эффективности харнесса тестировались на нескольких разных моделях. Выяснилось, что во многих случаях именно изменения харнесса, а не выбор модели, более надёжно снижают затраты — в среднем на 40% по итогам тестирования.
"Харнесс — это единственный компонент, эффективность которого умножается на все модели, которые организация использует сейчас и будет использовать в будущем", — отметили исследователи.
Для клиентов Writer подход остаётся модель-агностичным: Palmyra X6 будет работать наряду с другими моделями Writer или внешними моделями, подключёнными через Azure или Amazon Bedrock.
При этом Хабиб считает, что стремление сократить расходы отражает более широкое недоверие к крупным ИИ-лабораториям, у которых есть финансовый стимул наращивать использование токенов.
"Взрывной рост издержек беспрецедентен для клиентов, и в той же степени растёт разочарование ИТ-директоров в лабораториях", — рассказала Хабиб TechCrunch, добавив, что ИИ-лаборатории "не до конца понимают, как помочь бизнесу получить реальную пользу от ИИ".