#инференс

Magnitude — это открытый сервер инференса для запуска локальных моделей на вашем оборудовании. Он автоматически анализирует характеристики машины, подбирает оптимальные модели, скачивает, настраивает и запускает их. Инструмент интегрируется с популярными агентами: Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code и другими, а также имеет встроенный харнесс.

Работает на macOS и Linux (Windows через WSL). Полностью приватный и офлайн: данные и модели не покидают устройство. Настройка происходит через один запрос агенту, который профилирует железо и рекомендует лучшие варианты. Модели загружаются по требованию и выгружаются при простое, что экономит память. Лицензия Apache 2.0, код открыт для модификаций.

На конференции Hot Chips компания OpenAI впервые представила подробности о своём новом чипе Jalapeño и поделилась первыми результатами тестов производительности.

На конференции Hot Chips 2026 Intel раскрыла новые технические подробности о своём ИИ-ускорителе Crescent Island, предназначенном для инференса нейросетей в дата-центрах. Впервые была детально описана вычислительная архитектура чипа.

Компания Runware, работающая с инфраструктурой для ИИ, представила во вторник собственный модульный дата-центр — Sonic Inference Pod. Это единый транспортируемый блок, альтернатива гигантским стройкам гиперскейлеров.

KTransformers — исследовательский проект для эффективного инференса и дообучения больших языковых моделей за счёт гетерогенных вычислений на CPU и GPU. Из дерева kt-kernel доступны две возможности: Inference и SFT.

Модуль инференса обеспечивает высокопроизводительное обслуживание на ядрах kt-kernel: CPU-оптимизированные операции для гетерогенного вывода MoE-моделей и интеграцию с SGLang для продакшена.

Recursive Language Models (RLMs) — новая парадигма инференса для языковых моделей, позволяющая обрабатывать контексты почти бесконечной длины. Модель может программно анализировать вход, разбивать его и рекурсивно вызывать себя, используя REPL-среду, где контекст является переменной.

llama.cpp — это высокопроизводительная реализация инференса LLM на C/C++ без зависимостей. Проект оптимизирован для Apple Silicon (ARM NEON, Metal), поддерживает квантизацию от 1.5 до 8 бит, а также бэкенды CUDA, Vulkan, SYCL и гибридный CPU+GPU. Главная цель — минимальная настройка и максимальная скорость на любом оборудовании.

Нововведения включают миграцию кэша Hugging Face, поддержку модели MXFP4 и WebGPU в браузере. Установка возможна через brew, nix, winget, Docker, предварительные бинарники или сборку из исходников. Появились интеграции: Hugging Face Inference Endpoints для GGUF, редактор GGUF, расширения для VS Code и Vim/Neovim.

AirLLM оптимизирует использование памяти при инференсе, позволяя запускать модели с 70 миллиардами параметров на одной видеокарте с 4 ГБ VRAM без квантизации, дистилляции или прунинга. Теперь доступен запуск 405B Llama3.1 на 8 ГБ VRAM.

Поддерживаются многие модели: Llama, ChatGLM, Qwen, Baichuan, Mistral, InternLM, а также сжатие 4bit/8bit для ускорения в 3 раза с минимальной потерей точности. Доступны предзагрузка, инференс на CPU и MacOS. Установка и использование просты, как с обычными трансформерами.

Nebius покупает стартап Eigen AI из Калифорнии за $643 млн ($98 млн наличными и 3,8 млн акций). 20 сотрудников — выпускники MIT — разработали технологию ускорения инференса моделей OpenAI, Alibaba, m* и Nvidia, наращивая выход токенов.

Lumai представила серверы Iris для инференса LLM. Они используют оптические вычисления в 3D, а не обычные 2D чипы. Это позволяет выполнять миллионы операций одновременно с низкой стоимостью и высокой пропускной способностью.