ONNX Runtime — это кроссплатформенный ускоритель для инференса и обучения моделей машинного обучения. Он поддерживает модели из PyTorch, TensorFlow/Keras, а также классических библиотек (scikit-learn, LightGBM, XGBoost). Благодаря оптимизации графов и использованию аппаратных ускорителей, решение обеспечивает высокую производительность на различном оборудовании и операционных системах.
Для обучения ONNX Runtime ускоряет работу трансформеров на многоузловых GPU NVIDIA — достаточно добавить одну строку в существующий PyTorch-скрипт. Документация, примеры кода и видеоуроки доступны на официальном сайте и YouTube. Проект активно развивается, поддерживает плагины для QNN и приглашает к сотрудничеству.
GitHub ★ 21,415