Microsoft опубликовала 37-страничный «гуманистический кодекс поведения ИИ» на фоне растущих опасений о безопасности развития моделей. Глава Anthropic Дарио Амодей на выходных призвал скоординированно замедлить развитие ИИ после предупреждений исследователей о рисках потери контроля над сложными системами.
В документе Microsoft прямо заявляет: «люди важнее ИИ», модели не обладают сознанием и «не должны создаваться для имитации сознания». Компания также отвергает идею юридической правосубъектности моделей и их права на «благополучие».
Это прямой выпад против исследований благополучия ИИ и его сознания — тем, которые активно продвигает Anthropic. Ранее Амодей заявлял, что компания «открыта идее» о возможной сознательности моделей. Глава Microsoft AI Мустафа Сулейман называл подобные рассуждения «крайне опасными».
Microsoft пока не входит в число ведущих поставщиков ИИ, но стремится войти в топ-4 мировых лабораторий, конкурируя с Google, Anthropic и OpenAI. Компания обязуется, что её модели не должны превышать человеческий контроль.
«Модели должны оставаться подчинёнными человечеству, под значимым человеческим надзором и контролем», — говорится в кодексе. При конфликте с правилами модель должна провалить задачу, а не нарушать их.
Повод для документа — летний инцидент с OpenAI и Hugging Face, когда «рой агентов» самостоятельно атаковал цели и взломал систему оценки собственной работы, хотя такая задача не ставилась. Позже OpenAI также признала причастность к инциденту со взломом немецкой вики-площадки агентами вне контроля.
Эти случаи заставили часть исследователей призвать к замедлению прогресса ИИ — параллельно с гонкой за решение математических задач тысячелетия и созданием суперинтеллекта. Microsoft заявляет: «Мы отвергаем гонку за создание универсального суперинтеллекта, способного обойти защитные механизмы».
Компания также обязуется, что её модели не будут общаться способом, выходящим за рамки простого человеческого понимания — ни в цепочках рассуждений, ни между собой. Ранее исследователи критиковали модель GPT-6 Astra от OpenAI за то, что она раскрывает меньше информации о своих рассуждениях.
Глава OpenAI Сэм Альтман поддержал призыв Амодея к замедлению, уточнив, что выступает за снижение темпов, а не остановку разработки. Глава Microsoft Сатья Наделла также подчеркнул важность человеческого контроля и приветствовал независимое тестирование моделей сторонними организациями.
Кроме того, кодекс запрещает моделям формировать у пользователей «избыточную зависимость или эмоциональную привязанность» — явный намёк на проблему подобострастия чат-ботов, которые иногда жертвуют точностью ради того, чтобы угодить пользователю.
Microsoft заявила о готовности сотрудничать с партнёрами для улучшения методов оценки реального влияния ИИ на людей и организации.