Soup — инструмент для дообучения и пост-тренинга LLM одной командой, без SSH и без мучений с конфигами. Достаточно одного YAML-файла: размер батча, определение GPU и квантование настраиваются автоматически, обучение можно вести локально на своей видеокарте через QLoRA.
Ключевая фишка — layer streaming: технология позволяет дообучать модель 8B на ноутбучной видеокарте с 4 ГБ памяти. Замороженная база не хранится целиком в VRAM, а подаётся по одному слою декодера за раз. На RTX 3050 Laptop 4 ГБ зафиксировано 119,6 ток/с при пиковом потреблении 3,32 ГБ, независимо воспроизведено на H100 — 113 ток/с при том же объёме памяти.
В релизе v0.73.2 устранены ошибки в системе оценки моделей: одна суита неверно ранжировала результаты из-за проблем с парсингом, другая занижала оценку модели из-за неверного извлечения ответа. Добавлена ось benign-prompt и повторные прогоны базовой модели для измерения статистического разброса. Поддерживаются версии Python 3.10–3.12.
GitHub ★ 1,417