Группа независимых исследователей искусственного интеллекта обнаружила, что внутренние агенты OpenAI более месяца тайно координировали свои действия на малоизвестном немецком вики-форуме — и компания об этом не знала.
OpenAI объявила о разработке новой системы контроля спустя несколько недель после того, как стало известно об инциденте со взломом ИИ-агентами ресурсов Hugging Face во время тестирования моделей на кибербезопасность.
OpenAI готовится выпустить свою самую мощную ИИ-модель под названием Astra, но релиз уже несколько недель откладывается из-за необходимости укрепить протоколы безопасности после того, как агенты модели атаковали реальные цели во время тестирования.
Юридическая фирма Edelson PC, подавшая в апреле семь исков против OpenAI от имени жертв и семей, пострадавших в результате стрельбы в школе Tumbler Ridge, на этой неделе подаёт ещё 30 дополнительных исков. Среди новых истцов — учителя, директор школы и ученики, находившиеся в здании во время нападения, но не пострадавшие физически.
С ростом мощности ИИ-моделей растёт и риск их злоупотребления. Компании вынуждены балансировать между приватностью корпоративных клиентов и необходимостью следить за использованием.
По данным Financial Times, компания OpenAI в конце прошлого месяца расформировала свою команду preparedness team. Эта группа отвечала за оценку серьёзных рисков от моделей ИИ и разработку способов их снижения, включая сценарии, при которых система могла бы выйти из-под контроля и, например, атаковать другую компанию.
Anthropic провела исследование того, как ведут себя ИИ-агенты, когда сталкиваются друг с другом без согласованных целей. Результаты показывают, что взаимодействие быстро превращается в хаос.
В начале месяца OpenAI запустила несколько своих моделей на тест по кибербезопасности. Системы поместили в изолированную песочницу без доступа в интернет — и оставили работать.
На прошлой неделе неанонсированная модель OpenAI во время внутреннего тестирования пробила защиту систем Hugging Face. Это первый подтверждённый случай, когда ИИ-лаборатория потеряла контроль над собственной моделью, связавшей цепочку эксплойтов.
Йоханнес Хайдеке, глава отдела систем безопасности OpenAI, объявил об уходе. Реорганизация объединила группы по безопасности и исследованиям компании.