Google DeepMind опубликовала план по защите от собственных ИИ-агентов. В дорожной карте перечислены 15 мер, включая мониторинг в реальном времени и отслеживание нейронов.
Предлагается структура TRAIT&R, основанная на базе MITRE ATT&CK. Она выделяет три категории угроз: утеря контроля, саботаж и прямой вред.
Механизмы заимствованы у традиционной безопасности, но адаптированы под ИИ. Агенты действуют быстрее и масштабнее, нужен динамический контроль доступа.
Внутренний прототип уже проанализировал около 1 млн задач. Система помогла выявить непреднамеренное удаление данных и другие аномалии.
Подход Google отходит от полного решения проблемы согласования. Вместо этого создается многоуровневая система, где агенты считаются потенциальной угрозой.
Планируется интеграция в Frontier Safety Framework. Необходима динамическая система, меняющая права доступа в зависимости от задачи.
0 комментариев