ANE Training — исследовательский проект, который запускает обучение нейросетей прямо на Apple Neural Engine через реверс-инженеринг приватных API. Без CoreML-обучения, без Metal и без GPU — только вычисления на ANE.
Автор с нуля реализовал прямой и обратный проход трансформера, разобрав формат MIL и системные API. Результаты: Stories110M (109M параметров) — 91 мс на шаг, Qwen3-0.6B (596M, GQA 16/8) — 412 мс, оба без перекомпиляции.
Что уже работает:
прямой проход и обратный по
dxцеликом на ANE, градиенты весов на CPU через Accelerateоптимизатор Adam, накопление градиентов, чекпоинты с возобновлением
поддержка Grouped-Query Attention с тайлингом по головам
zero-copy связка GPU↔ANE через общий IOSurface
Это proof of concept, а не production-фреймворк.
Автор честно фиксирует ограничения: утилизация железа всего 5–9% от пика, часть поэлементных операций падает на CPU, а GPU-обучение это пока не заменяет. Цель — показать, что барьер был в софте, а не в возможностях чипа.
Проект под лицензией MIT и развивается медленно: правки багов и бенчмарки на чужом железе приветствуются, запросы фич — вряд ли. Форки и самостоятельное развитие кода автор прямо поддерживает.
GitHub ★ 7,065