Периферийный ИИ (edge AI) позволяет запускать нейросети прямо на устройствах, минуя облако. Для этого применяют специализированные чипы: ASIC (например, Google Edge TPU, Hailo-8) и FPGA (AMD Xilinx, Altera). Они энергоэффективны (менее 1 Вт) и подходят для задач вроде распознавания изображений или голосовых команд.
В отличие от универсальных микроконтроллеров, ASIC заточены под конкретные модели, но не перепрограммируются. FPGA гибче: их логику можно менять на лету, что важно для робототехники и военных задач. Примеры — Tesla FSD, системы автономного вождения.
Малые языковые модели (МЯМ) с 1–15 млрд параметров работают локально на смартфонах, ПК и носимых устройствах. Они обеспечивают низкую задержку (25–100 мс) и конфиденциальность. Большие облачные модели (БЯМ) нужны для сложных задач, но требуют 300–800 мс и интернета.
Категории устройств с локальным ИИ:
Смартфоны и планшеты: 4–12 ГБ ОЗУ, запускают модели до 4B параметров.
ПК: до 100B параметров (x86 с видеокартами, Mac с ARM).
Промышленные шлюзы: обработка данных на производстве.
Носимые устройства: мониторинг здоровья с NPU.
Умный дом: голосовые ассистенты, камеры, термостаты.
Автономный транспорт: 30–1000 TOPS, платформы Nvidia Drive, Qualcomm.
Гибридный подход — лучший выбор: локальные модели для быстрых и приватных задач, облачные — для ресурсоёмких. Экономия энергии и автономность делают edge AI незаменимым, несмотря на рост облачных моделей.