ZML — французский ИИ-стартап, одобренный лауреатом премии Тьюринга Янном ЛеКуном, выпустил ZML/LLMD — сервер для запуска open-source LLM на разных аппаратных платформах.
Сервер поддерживает Nvidia, AMD, Google TPU, Apple Metal и Intel Arc. Цель — устранить изолированность экосистем и обеспечить максимальную скорость инференса на каждой платформе.
Инференс (обработка промптов) становится важнее обучения моделей. Однако сейчас он связан с архитектурными барьерами и привязкой к вендорам, отметил основатель ZML Стив Морен.
ZML предлагает предприятиям и облачным провайдерам миксовать разные чипы — в том числе более дешёвые или энергоэффективные — для реального снижения затрат на ИИ.
Среди потенциальных партнёров — европейские чипмейкеры: Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud и VSORA. Морен добавил, что ZML уже участвует в совместном проектировании кремния.
Рынок инференса стремительно растёт. Конкуренты ZML/LLMD — Baseten (оценка $13 млрд), Inferact от создателей vLLM и RadixArk за SGLang.
ZML/LLMD — не опенсорс, в отличие от первого ML-фреймворка компании. Пока продукт бесплатный: стартап изучает спрос до монетизации.
Команда из 20 человек привлекла $20 млн от 20VC, Kima Ventures, LocalGlobe и других. Среди инвесторов — основатель Docker Соломон Хайкс и команда Hugging Face.
0 комментариев