Главное преимущество Nvidia — не только GPU-ускорители, но и программная платформа CUDA: готовый код для типовых ИИ-задач, инструменты отладки и приложения, позволяющие тысячам чипов слаженно работать при обучении моделей. Но ИИ способен это преимущество размыть.
FlashKDA — набор высокопроизводительных ядер Kimi Delta Attention, построенных на CUTLASS. Проект ориентирован на видеокарты архитектуры SM90 и новее и требует CUDA 12.9+ и PyTorch 2.4+.
По умолчанию сборка определяет текущее CUDA-устройство и компилирует код под его архитектуру. Для сборки колёс или CI-пайплайнов список поддерживаемых архитектур указывается явно, в том числе перечислением через запятую.
Лондонский стартап Spectral Compute создал компилятор SCALE — полноценную замену NVCC от Nvidia. Он запускает существующий CUDA-код на GPU AMD без каких-либо правок в исходниках.
