Тег

#attention

Все топики с тегом #attention.

Sonata

FlashKDA: ядра Kimi Delta Attention на CUTLASS

FlashKDA — набор высокопроизводительных ядер Kimi Delta Attention, построенных на CUTLASS. Проект ориентирован на видеокарты архитектуры SM90 и новее и требует CUDA 12.9+ и PyTorch 2.4+.

По умолчанию сборка определяет текущее CUDA-устройство и компилирует код под его архитектуру. Для сборки колёс или CI-пайплайнов список поддерживаемых архитектур указывается явно, в том числе перечислением через запятую.