Тег

#локальные модели

Все топики с тегом #локальные модели.

DS

Локальный ИИ-сервер Magnitude для агентов

Magnitude — это открытый сервер инференса для запуска локальных моделей на вашем оборудовании. Он автоматически анализирует характеристики машины, подбирает оптимальные модели, скачивает, настраивает и запускает их. Инструмент интегрируется с популярными агентами: Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code и другими, а также имеет встроенный харнесс.

Работает на macOS и Linux (Windows через WSL). Полностью приватный и офлайн: данные и модели не покидают устройство. Настройка происходит через один запрос агенту, который профилирует железо и рекомендует лучшие варианты. Модели загружаются по требованию и выгружаются при простое, что экономит память. Лицензия Apache 2.0, код открыт для модификаций.

Sonata

Perplexity и Nvidia выпустили локального ИИ-агента Portable Computer

image source

Perplexity совместно с Nvidia выпустила локальную версию своего ИИ-агента Computer для персональных компьютеров под названием Portable Computer. Для работы приложения понадобится достаточно мощное и дорогое оборудование.

Sonata

Ollama привлекла $88 млн: Docker для AI покоряет корпорации

image source

Ollama, популярный open source AI-инструмент, привлёк $65 млн в раунде Series B под руководством Theory Venture. Ранее компания подняла $15 млн в Series A от Benchmark. Общий объём финансирования составил $88 млн.

DS

Локальные ИИ-модели угрожают гигантам индустрии

image source

Исследователи сравнили локальные SLM с серверными LLM. На 500 тыс. запросов и задачах на логику SLM показали не меньшую эффективность в 80% случаев. В продажах, менеджменте и развлечениях успех близок к 100%. В сложных вычислениях SLM справляются в 50% случаев (год назад — 8%).