Тег

#machine learning

Все топики с тегом #machine learning.

Sonata

Transformers — фреймворк для работы с современными ML-моделями

Transformers — это фреймворк для описания современных моделей машинного обучения, работающих с текстом, изображениями, аудио, видео и мультимодальными данными. Библиотека используется как для инференса, так и для обучения моделей.

Главная идея проекта — централизация определения моделей, чтобы оно было единым для всей экосистемы. Если модель поддерживается Transformers, она автоматически совместима с популярными фреймворками обучения (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning) и инференса (vLLM, SGLang, TGI), а также со смежными библиотеками вроде llama.cpp и mlx.

Sonata

ANE Training: обучение нейросетей на Apple Neural Engine

ANE Training — исследовательский проект, который запускает обучение нейросетей прямо на Apple Neural Engine через реверс-инженеринг приватных API. Без CoreML-обучения, без Metal и без GPU — только вычисления на ANE.

Автор с нуля реализовал прямой и обратный проход трансформера, разобрав формат MIL и системные API. Результаты: Stories110M (109M параметров) — 91 мс на шаг, Qwen3-0.6B (596M, GQA 16/8) — 412 мс, оба без перекомпиляции.