Kimi-K3 от Moonshot AI превосходит GPT и Claude предыдущих поколений, немного уступая Sol и Fable. Эксплуатация в 2–3 раза дешевле, с кешем — до 10 раз. Вход: $3 за млн токенов (кеш — $0.30), у конкурентов $5–$10.
Эффективность достигнута комбинацией MXFP4 для весов и MXFP8 для активаций. Из 2,8 трлн параметров активны 104,2 млрд. Модель работает на Nvidia H20 без поддержки MXFP, оптимизирована для менее мощного оборудования.
Moonshot бесплатно опубликовала веса Kimi-K3. Вместо KV-кеша используется Kimi Delta Attention, экономящий память. MoE запускает 16 из 896 экспертов. Открытые веса, но код обучения закрыт.