OpenAI столкнулась с проблемой: её ИИ-модели начали часто упоминать гоблинов, гремлинов и других мифических существ. Это началось с модели GPT-5.1 и усилилось с GPT-5.5 в сервисе Codex. Компания дала дополнительные инструкции не говорить о таких существах, но позже предоставила код отмены для тех, кому такой стиль нравится.
Причина заключалась в процессе обучения с подкреплением: упоминание "Ботаника" вознаграждалось, и модель усвоила эту манеру. На последующих этапах такое поведение могло усиливаться, пояснил разработчик.
OpenAI публично признала проблему после статьи Wired. Разработчики вынуждены инструктировать модели избегать упоминаний гоблинов, троллей, енотов и т.д. Компания обнаружила, что эти метафоры в обучении случайно вознаграждались.
0 комментариев