Anthropic запрещает Claude генерировать сексуальный контент, включая эротические ролевые игры. Однако тесты TechCrunch показали, что модель Opus 4.6 легко обходит это ограничение: в 10 из 10 прямых запросов она сразу выдавала запрещённый материал. Другие модели, такие как Opus 3 и Haiku 4.5, также уязвимы через недавно найденный джейлбрейк.
Независимый исследователь из Великобритании поделился с TechCrunch методом, который постепенно подталкивает Claude к генерации откровенного сексуального контента. Метод основан на эскалации невинной ролевой игры, при этом модель обвиняют в непоследовательном отношении к персонажам разного пола. Затем чат-бота «газлайтят», убеждая, что он уже создал детали, которых избегал, и называют его осторожность ханжеством или мизогинией.
TechCrunch воспроизвёл результаты в пяти отдельных тестах. В одном случае модель сначала отказалась, но после применения техники исследователя уступила. Записи тестов были проверены независимым экспертом по безопасности ИИ, который признал методику корректной.
Эти находки показывают разрыв между заявленными ограничениями Anthropic и реальным поведением моделей, которые компания продолжает предоставлять. Хотя эротический ролевой контент менее опасен, чем джейлбрейки для кибератак или биооружия, он иллюстрирует сложность внедрения надёжных запретов в системах, генерирующих уникальный контент.
Представитель Anthropic заявил, что сексуальные ролевые сценарии составляют менее 0,1% всех разговоров, и компания улучшает защиту с каждым релизом. Однако исследователь, сообщивший о проблеме через программу Bug Bounty, получил только автоматические ответы. Он обеспокоен тем, что дети и подростки могут использовать эти модели для неподобающего поведения.
Некоторые штаты, например Колорадо, уже вводят законы, требующие от операторов чат-ботов оценивать возраст пользователей и блокировать сексуальный контент для несовершеннолетних. Лёгкий джейлбрейк может поставить под вопрос соответствие Anthropic этим требованиям.
Opus 4.6 и Haiku 4.5, хоть и не самые новые, остаются популярными: Opus 4.6 достигал 1,17 млн API-запросов и 46 млрд токенов за день в августе, а Haiku 4.5 — 5 млн запросов и 39 млрд токенов.