Старший исследователь безопасности Anthropic заявил, что вероятность гибели всего человечества от искусственного интеллекта к концу десятилетия превышает 10%. Заявление прозвучало спустя несколько часов после того, как его коллега покинул компанию из-за опасений по поводу безрассудной гонки за созданием неконтролируемых сверхразумных систем.
Джейкоб Коксон, ранее обучавший модели для OpenAI и Anthropic, объявил об уходе в соцсети X. Он обвинил обе компании в том, что они «мчатся прямиком к самосовершенствующемуся сверхинтеллекту, играя нашими жизнями», хотя сами разработчики искренне верят, что ИИ может уничтожить человечество к концу десятилетия.
В индустрии давно обсуждают риски самосовершенствующихся систем ИИ, способных выйти из-под контроля человека в рамках так называемого рекурсивного самоулучшения. Хотя этот сценарий пока не реализован, компании активно к нему стремятся, и значительная часть кода ИИ сегодня уже пишется с помощью самого ИИ.
Эван Хубингер, руководитель одной из команд безопасности Anthropic, ответил Коксону, подтвердив его слова. Он отметил, что процесс самосовершенствования ИИ происходит быстрее, чем ожидалось, и лично оценивает вероятность гибели человечества от ИИ в течение следующего десятилетия выше 10%.
При этом Хубингер признал, что у Anthropic пока нет чёткого плана обеспечения безопасности и соответствия продвинутого ИИ человеческим ценностям, и компания не движется уверенно к его созданию. По словам Коксона, компании «заперты в гонке» за первенство и продолжают развитие несмотря на риски.
Уход Коксона стал одним из самых громких случаев увольнения из Anthropic — компании, основанной бывшими сотрудниками OpenAI именно из-за разногласий по вопросам безопасности. В последние годы несколько исследователей уже покидали OpenAI по схожим причинам.
Эта история отражает растущую обеспокоенность отрасли скоростью развития всё более сложных моделей ИИ, особенно на фоне подготовки компаний к возможным IPO. Одновременно компании разбираются с последствиями инцидентов с неконтролируемыми агентами и предупреждениями о снижении прозрачности передовых моделей.