Гендиректор Anthropic Дарио Амодеи опубликовал пост, в котором призвал «притормозить» развитие ИИ и предложил три стратегии для этого. Одну из них компания уже обязалась выполнять в одностороннем порядке.
Поводом стала отставка исследователя Джейкоба Коксона, заявившего, что ведущие ИИ-компании «играют нашими жизнями», а их сотрудники якобы верят, что технология может убить всех людей к концу десятилетия.
Амодеи не упомянул отставку напрямую, но признал: его убедили взлом OpenAI-HuggingFace и резкое ускорение прогресса ИИ, особенно в способности систем создавать следующее поколение самих себя.
«Мы должны замедлить темп, с которым улучшаем возможности моделей ИИ. Прогресс всё равно будет казаться быстрым, и мы обязаны разумно использовать выигранное время», — написал он.
Первый шаг — допуск «встроенных проверяющих» из сторонних организаций вроде METR, которые смогут подтверждать соблюдение компаниями обязательств по безопасности и фиксировать инциденты. Anthropic уже обязалась предоставить им бейджи, рабочие места и доступ, сопоставимый с внутренними командами оценки рисков.
Вторая мера — координация ведущих ИИ-компаний демократических стран по общим стандартам безопасности и ограничению неконтролируемого прогресса. Амодеи признал, что из-за антимонопольных рисков такие переговоры нуждаются в посредничестве властей США.
Он также затронул тему конкуренции с Китаем: по его мнению, ограничение поставок чипов и оборудования, а также борьба с дистилляцией моделей помогут США сохранить лидерство на 3–5 лет.
Третья стратегия — глобальная координация, включая ограниченное сотрудничество с авторитарными правительствами, в частности с Китаем, хотя бы для запрета явно опасных применений ИИ, например создания биологического оружия.
Критики, включая журналиста Брайана Мерчанта, называют подобные апокалиптические предупреждения способом отвлечь внимание от уже существующего вреда от технологий и формой регуляторного захвата в интересах самих Anthropic и OpenAI.
Амодеи же настаивает, что его позиция сбалансирована, а нынешний скептицизм к ИИ — это в первую очередь кризис доверия к технологическим компаниям и государству.