Компания Anthropic предлагает отрасли ввести режим самоограничения при разработке ИИ, если риски потери контроля станут очевидными. Стартап призывает координировать усилия всех ведущих разработчиков.
«Если системы обретают способность самостоятельно создавать своих преемников, большое значение обретает наша способность контролировать, мониторить их и ограничивать их поведение», — заявляют в Anthropic.
Более 80% нового кода в компании создано ИИ-агентом Claude. Anthropic считает, что нужно замедлять разработку передовых моделей для социальной адаптации. Координация нужна, чтобы избежать ущерба от недобросовестных участников.
0 комментариев