KTransformers — исследовательский проект для эффективного инференса и дообучения больших языковых моделей за счёт гетерогенных вычислений на CPU и GPU. Из дерева kt-kernel доступны две возможности: Inference и SFT.
Модуль инференса обеспечивает высокопроизводительное обслуживание на ядрах kt-kernel: CPU-оптимизированные операции для гетерогенного вывода MoE-моделей и интеграцию с SGLang для продакшена.