SIE — это опенсорсный инференс-движок для агентов, который запускает все модели, стоящие за задачами агента, через единый API. Он охватывает поиск и извлечение данных, конвертацию документов в markdown, структурированный вывод, проверку безопасности контента и сам цикл работы агента.
Вместо отдельного сервера моделей под каждую задачу SIE предлагает единую систему, обслуживающую более 100 моделей с загрузкой по требованию. API совместим с OpenAI, что позволяет легко мигрировать существующие проекты. В каталоге — предустановленные модели: Stella, SPLADE, Qwen3, GLiNER, SigLIP и другие, протестированные на бенчмарке MTEB.
SIE одновременно обслуживает несколько моделей с загрузкой по требованию и вытеснением по алгоритму LRU. В комплекте — конфигурации для Kubernetes и Helm, включая шлюз балансировки нагрузки, автоскейлинг KEDA и дашборды Grafana. Есть интеграции с LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate и LanceDB.
Одна платформа заменяет разрозненные серверы моделей, обслуживая инференс для всего агентного стека — от поиска до генерации текста.
Docker-образы разделены по бандлам, чтобы несовместимые семейства моделей оставались изолированными. Сервер поддерживает эмбеддинги и генерацию текста через OpenAI-совместимый API — для старта достаточно простого запроса curl. Первый вызов модели скачивает веса, последующие запросы работают уже без задержек на загрузку.
SIE поставляется под лицензией Apache 2.0 и включает не только сервер, но и весь стек для продакшена: шлюз, Kubernetes-конфигурации, автоскейлинг и мониторинг. Terraform-модули поддерживаются отдельно для Alibaba Cloud ACK, EKS, AKS и GKE.
GitHub ★ 2,965