Switchyard — прокси и библиотека на Rust для трафика LLM. Он маршрутизирует запросы между провайдерами, переводит между OpenAI и Anthropic API, собирает метрики и предоставляет типизированные алгоритмы маршрутизации.
Направьте кодового агента (Claude Code, Codex) на open-source модель — Switchyard переведёт форматы OpenAI Chat, Anthropic Messages и OpenAI Responses, обслуживая запрос через vLLM, NVIDIA NIM, Ollama или любой OpenAI-совместимый endpoint.
Возможности: трансляция протоколов, мультибэкенд-маршрутизация (случайная, LLM-классификатор, по сигналам, кастомная), метрики Prometheus по запросам, ошибкам, задержкам и токенам. Это pre-alpha ПО — API может измениться до v1.0.
GitHub ★ 599