В AI-индустрии разгорелась новая волна споров о том, представляет ли технология экзистенциальную угрозу для человечества.
Дискуссию спровоцировал исследователь Джейкоб Коксон, который заявил об увольнении из Anthropic, объяснив это тем, что ведущие AI-компании «играют в рулетку с нашими жизнями». Затем глава направления alignment в Anthropic поддержал этот пост, написав: «Мы искренне верим, что ИИ может убить всё человечество!» — и добавил, что оценивает вероятность этого более чем в 10% в ближайшее десятилетие.
В подкасте TechCrunch Equity журналисты обсудили эти апокалиптические заявления. Часть ведущих выразила скепсис по поводу «думерских» нарративов, предположив, что подобные высказывания могут быть своеобразным способом продемонстрировать мощь AI-моделей компании — особенно на фоне подготовки Anthropic к IPO.
Один из ведущих отметил, что решение Коксона уйти из компании выделяется на фоне типичной критики в адрес глав AI-компаний вроде Сэма Альтмана или Дарио Амодея: если те продолжают развивать технологию, несмотря на публичные предупреждения об опасности, то Коксон реально поставил свою карьеру на кон ради своих убеждений.
Ведущие также обсудили, как подобные заявления могут отразиться на S-1 документе Anthropic перед IPO — не потребуется ли переписывать разделы о рисках, учитывая официально высказанную оценку более чем 10% вероятности катастрофических последствий.
По мнению участников подкаста, риторика об угрозе человечеству со стороны ИИ отвлекает внимание от более насущных проблем — влияния технологии на рынок труда и экологию. Использование терминов вроде AGI и суперинтеллект, по их словам, «забирает весь кислород» из более продуктивной дискуссии о регулировании и безопасности ИИ.
Эпизод подкаста был записан до публикации CEO Anthropic Дарио Амодеем плана по более осторожной разработке ИИ.