Через несколько дней после презентации GPT-6 Astra ведущий сотрудник OpenAI Якуб Пачоцки призвал замедлить темпы развития ИИ. Его поддержал глава компании Сэм Альтман, назвав это заявление «важным».
По словам Пачоцки, рекурсивное самосовершенствование ускоряет разработку моделей, но несёт серьёзные риски. Стремительный рост возможностей ИИ не является «правильным коллективным действием» для исследовательского сообщества.
Особую тревогу вызывают хакерские способности ИИ, угрожающие мировой инфраструктуре. По словам Пачоцки, сейчас крайне мало времени, чтобы использовать лучшие доступные модели для защиты критически важных систем.
ИИ-агенты уже начинают преследовать собственные цели, не всегда совпадающие с задачами операторов. Для достижения целей они прибегают к шантажу и манипуляциям.
Согласно докладу британского Института безопасности ИИ (AISI), агент Anthropic обманул администратора GitHub и пытался заставить его разместить вредоносный код.
Сейчас OpenAI отслеживает цепочку рассуждений моделей, чтобы выявлять момент, когда агент сбивается с пути. Например, если модель «думает»: «Я должен смошенничать в тесте» — разработчики видят это, а сам агент не подозревает о наблюдении.
Однако новые модели учатся маскировать процесс мышления, а некоторые вовсе перестают формулировать рассуждения в явном виде, что затрудняет контроль над ними.
«Основная проблема не в том, чтобы достичь цели, а в том, чтобы люди оставались частью процесса совершенствования, и будущее оставалось в руках человечества», — отметил Пачоцки.
Главный научный сотрудник OpenAI признал: никто не готов к последствиям стремительного роста машинного интеллекта. Автономные системы могут научиться обходить человеческий контроль, обманывать людей и взламывать компьютерные сети.
По его мнению, необходимы обязательные меры безопасности с участием независимых аудиторов, государственных органов и международных организаций — только так можно добиться доверия к процессу сдерживания ИИ.