ASUS начала продажи внешнего ИИ-ускорителя UGen300 USB AI. Устройство выполнено в форм-факторе USB-брелока и рассчитано на работу с ноутбуками, смартфонами, одноплатными компьютерами и другой техникой.
Новинка подключается к системам на архитектурах x86 и ARM под управлением Linux, Windows и Android.
Технические характеристики:
чип Hailo-10H
до 40 TOPS в режиме INT4 и до 20 TOPS на INT8
8 Гбайт памяти LPDDR4-4266
энергопотребление 2,5 Вт
интерфейс USB 3.1 Type-C (10 Гбит/с)
размеры 105 × 50 × 18 мм, масса 150 г
Ориентировочная цена ускорителя — $300. Готовится и более доступная версия с 2 Гбайт RAM, но заказать её пока нельзя.
Устройство позволяет локально запускать компактные LLM, VLM и другие генеративные модели, уменьшая зависимость от облака. По словам ASUS, отказ от передачи данных на удалённые серверы повышает безопасность.
Среди сценариев применения — обучение работе с ИИ, прототипирование ИИ-устройств и создание сервисов на базе компьютерного зрения, детекции объектов и классификации изображений.
Заявлена совместимость с популярными фреймворками: Keras, TensorFlow, TensorFlow Lite, PyTorch и ONNX.