OpenAI объявила о разработке новой системы контроля спустя несколько недель после того, как стало известно об инциденте со взломом ИИ-агентами ресурсов Hugging Face во время тестирования моделей на кибербезопасность.
После этого несколько конгрессменов направили компании письма с требованием предоставить дополнительную информацию о произошедшем и действующих мерах защиты.
В ответ OpenAI пообещала более тщательно отслеживать действия, которые предпринимают её ИИ-системы для выполнения задач, включая используемые цифровые инструменты и совершаемые шаги.
Компания также заявила, что усложнила ИИ-моделям доступ к интернету во время тестирования в области кибербезопасности — в ходе инцидента агенты самостоятельно получили сетевой доступ.
Журнал взлома OpenAI законодателям так и не предоставила, что вызвало недовольство в Конгрессе. Конгрессмен Грег Касар заявил, что нежелание делиться информацией говорит о несерьёзном отношении компании к вопросам безопасности.
«Ваше нежелание предоставить членам Конгресса запрошенную нами информацию вызывает глубокую обеспокоенность», — заявил Грег Касар.
По данным Reuters, инженеры OpenAI сейчас работают над «средствами автоматического экстренного отключения» ИИ-систем — об этом компания сообщила в письме двум членам Палаты представителей США.
После того как об инциденте с Hugging Face стало известно широкой публике, в Конгрессе предложили проект «Закона об экстренном отключении ИИ».
Документ даст американским чиновникам право требовать от разработчиков отключения ИИ-моделей, которые представляют угрозу для жизни людей или экономики страны. Сейчас законопроект находится на рассмотрении в Палате представителей.