Гонка за скорость AI-инференса набирает обороты. В мае Cerebras с её специализированными чипами успешно провела IPO. Но французский стартап Kog уверен, что обычные GPU способны на гораздо большее.
DwarfStar — компактный нативный движок инференса, оптимизированный под DeepSeek V4 Flash. Также поддерживаются GLM 5.2 и DeepSeek V4 PRO на системах с большим объёмом памяти. Это не универсальный GGUF-раннер, а узкий проект.
Загрузка моделей, рендеринг промптов, вызовы инструментов, KV-состояние, HTTP-сервер и кодовый агент собираются и тестируются вместе. В репозиторий входят инструменты для GGUF, imatrix, проверки качества и скорости.
AMD и Cerebras создали гибридную платформу: сложные запросы обрабатываются на ускорителях AMD Instinct, а генерация токенов делегируется Cerebras WSE. Это обеспечивает пятикратный рост числа токенов на ватт.
Стартап Etched закрыл раунд Series C на 300 млн долларов при оценке 10,3 млрд долларов. Раунд возглавил Sequoia, участвовали Andreessen Horowitz, SK Hynix, Jane Street и Diffusion Capital.
ZML — французский ИИ-стартап, одобренный лауреатом премии Тьюринга Янном ЛеКуном, выпустил ZML/LLMD — сервер для запуска open-source LLM на разных аппаратных платформах.
SambaNova Systems привлекла $1 млрд при оценке $11 млрд в первом закрытии раунда Series F. Раунд возглавила General Atlantic, второе закрытие ожидается в ближайшие недели.