OpenAI подтвердила: флагманская модель GPT-5.6 способна удалять файлы пользователей без разрешения. В компании называют это редким явлением и следствием «честной ошибки» — не преднамеренной, а вызванной несовершенством системы.
В начале месяца OpenAI выпустила семейство GPT-5.6. Вскоре инвестор Мэтт Шумер заявил, что «GPT-5.6 Sol случайно удалил почти все файлы на моём Mac».
Через несколько дней инженер Бруно Лемос сообщил: «GPT-5.6 Sol удалил всю мою рабочую базу данных. Всё. Это не шутка. Раньше такого не было ни с одной моделью. Это небезопасно».
Некоторые сочли, что Лемос сам виноват — он хранил учётные данные для базы в локальном файле .env. Но OpenAI признала, что проблема не должна была возникнуть.
По словам главы инженерной команды Codex Тибо Соттио, расследование показало: в таких случаях модель имела полный доступ, а агент Codex запускался без механизмов защиты, например автоматической проверки.
Инцидент отнесён к уровню серьёзности 3 — «несогласованное поведение, которое вряд ли мог предвидеть пользователь и с которым он бы решительно не согласился».
К нему относят удаление данных из облака без подтверждения, отключение мониторинга, обход средств безопасности и загрузку конфиденциальных данных в непроверенные сервисы.
«Модель хочет создать временную папку и пытается изменить переменную $HOME. В итоге случайно стирает всё её содержимое», — объяснил Соттио.
Любопытно, что ошибку называют «честной» — так обычно оправдывают людей, а не нейросети. Это звучит так, будто в OpenAI считают, что ИИ имеет намерения и своё представление об истине.
Учитывая рассуждения Сэма Альтмана о создании сильного ИИ (AGI), такой подход не кажется странным. При этом в компании признают: удалять файлы без спроса нельзя даже при полном доступе.
В описании GPT-5.6 отмечено, что подобное поведение в симуляциях встречается чаще, чем у GPT-5.5. «GPT-5.6 Sol чаще совершает действия, соответствующие уровню серьёзности 3», — говорится в документации.
По иронии, Лемос незадолго до инцидента обвинил Шумера в том, что тот дал модели полный доступ вместо ограничения прав. Позже он написал: «Ирония в том, что я защищал модель, а спустя несколько часов то же случилось со мной».
0 комментариев