DS

Osaurus: open-source LLM-сервер для Mac с локальным AI

image source

Osaurus — open-source LLM-сервер только для Mac. Он позволяет переключаться между локальными и облачными AI-моделями, оставляя файлы и инструменты на устройстве.

Проект вырос из идеи настольного AI-компаньона. Основатель Теренс Пэ (экс-инженер Tesla и Netflix) начал разработку как open-source, чтобы запускать AI-ассистента локально.

Osaurus подключается к локальным моделям и облачным провайдерам (OpenAI, Anthropic, Gemini и др.). Пользователи могут выбирать модель и сохранять на своей машине память, файлы и инструменты.

В отличие от аналогов, Osaurus имеет простой интерфейс и обеспечивает безопасность через аппаратно-изолированную песочницу. Для локальных моделей нужно от 64 ГБ ОЗУ, для больших — 128 ГБ.

«Энергоэффективность локального AI быстро растёт. Год назад он едва завершал предложения, а теперь может запускать инструменты, писать код, заказывать товары» — говорит Пэ.

Osaurus поддерживает MiniMax, Gemma, Llama, DeepSeek и другие модели, а также нативные модели Apple. Он работает как MCP-сервер и включает более 20 плагинов (Почта, Календарь, Видение, Браузер, Git и др.).

За год проект скачали более 112 000 раз. Сейчас основатели участвуют в акселераторе Alliance и думают о B2B-решениях для юристов и врачей, где важна приватность.

По мнению Пэ, рост локального AI снизит зависимость от облачных дата-центров: «Вместо облака можно использовать Mac Studio на месте, тратя меньше энергии и сохраняя все возможности».

источник

0 комментариев

Редактор комментария
Пока нет комментариев
Станьте первым, кто оставит мнение на этот топик