LiveKit Agents — открытый фреймворк для создания программируемых участников реального времени, работающих на серверах. С его помощью строят разговорных мультимодальных голосовых агентов, которые видят, слышат и понимают пользователя.
Фреймворк даёт гибкие интеграции: можно комбинировать любые STT, LLM, TTS и Realtime API под свою задачу. Встроены планирование задач с dispatch API, обмен данными через RPC и Data API, а также нативная поддержка MCP-серверов.
Отдельно стоит отметить семантическое определение конца реплики на базе трансформерной модели — это снижает число перебиваний. Телефонный стек LiveKit позволяет агенту звонить и принимать звонки, а клиентские SDK покрывают все основные платформы.
Для надёжности предусмотрен встроенный фреймворк тестирования с судьями-оценщиками — это критично из-за недетерминированного поведения LLM. Весь стек открыт, включая сам сервер LiveKit, один из самых распространённых WebRTC-медиасерверов.
Ключевые понятия:
Agent— приложение на базе LLM с заданными инструкциямиAgentSession— контейнер, управляющий взаимодействием с пользователямиentrypoint— точка входа в сессию, аналог обработчика запросовAgentServer— процесс координации задач и запуска агентов
При работе с ИИ-ассистентом кодинга рекомендуется установить LiveKit Docs MCP server и LiveKit Agent Skill: первый даёт актуальные детали API, второй — архитектурные практики.
В репозитории доступны примеры: стартовый голосовой агент, push-to-talk для нескольких пользователей, фоновое аудио, динамическое создание инструментов, исходящие звонки, структурированный вывод, текстовый агент, транскрипция и видеоаватары.
GitHub ★ 11,770