Тег

#оптимизация

Все топики с тегом #оптимизация.

DS

Google расширяет ограничение памяти для приложений в Android

image source

Google расширяет функцию ограничения оперативной памяти для отдельных приложений на Android. Нововведение, ранее доступное только на Pixel, станет доступно большему числу устройств с ОЗУ от 4 Гбайт в течение следующего года. Это особенно полезно для смартфонов с небольшим объёмом памяти, где прожорливые приложения могут замедлять всю систему.

DS

Геймдиректор Ori раскритиковал Xbox Series S и требования 60 fps

image source

Томас Малер, руководитель разработки Ori и No Rest for the Wicked, раскритиковал Xbox Series S и требования игроков к производительности. Он обратился к главе Xbox Аше Шарме с просьбой отказаться от обязательного выпуска игр на обеих версиях консоли, назвав это требование задерживающим разработку.

DS

oMLX — быстрый запуск LLM на Mac с управлением из меню-бара

oMLX — это инструмент для запуска LLM на Mac с оптимизацией под Apple Silicon. Он позволяет закреплять часто используемые модели в памяти, автоматически заменять их на более тяжелые по запросу, а также задавать лимиты контекста. Управление осуществляется через меню-бар. Благодаря персистентному KV-кэшу, который хранится в оперативной памяти и на SSD, контекст сохраняется между запросами, что ускоряет работу.

Установка проста: скачайте приложение из раздела Releases, перетащите в Applications — и готово. Встроенная функция автообновления и CLI-обертка позволяют управлять сервером из терминала или через Apple Shortcuts. Сервер автоматически обнаруживает модели в поддиректориях, поддерживает OpenAI-совместимый API и включает встроенный чат-интерфейс. Поддерживаются текстовые LLM, VLM, OCR, эмбеддинги и реранкеры.

Sonata

Microsoft оптимизирует расход памяти Windows 11 на ПК с 8 ГБ ОЗУ

image source

Microsoft включила оптимизацию памяти для систем с 8 ГБ ОЗУ и больше в список приоритетов на оставшуюся часть 2026 года. Цель — уменьшить объём памяти, который занимает Windows, и сделать работу ПК более отзывчивой.

DS

Клиенты ИИ столкнулись с резким ростом затрат

image source

Разработчики ИИ (OpenAI, Anthropic) изменили политику оплаты, перейдя на пропорциональную плату за токены. Многие клиенты столкнулись с резким ростом расходов — например, Workato зафиксировал семикратное увеличение в первый день.

DS

AirLLM: запуск 70B моделей на 4 ГБ VRAM

AirLLM оптимизирует использование памяти при инференсе, позволяя запускать модели с 70 миллиардами параметров на одной видеокарте с 4 ГБ VRAM без квантизации, дистилляции или прунинга. Теперь доступен запуск 405B Llama3.1 на 8 ГБ VRAM.

Поддерживаются многие модели: Llama, ChatGLM, Qwen, Baichuan, Mistral, InternLM, а также сжатие 4bit/8bit для ускорения в 3 раза с минимальной потерей точности. Доступны предзагрузка, инференс на CPU и MacOS. Установка и использование просты, как с обычными трансформерами.