Подразделение Google DeepMind выделило $10 млн на исследование взаимодействия миллионов ИИ-агентов. В проекте участвуют частные и государственные организации. Учёные хотят заранее оценить риски массового развёртывания таких систем.
Потенциальные угрозы включают мошенничество, вредоносные инъекции и кибератаки. Единственный способ предсказать последствия — реалистичные симуляции в «песочницах», где агенты взаимодействуют друг с другом.
Anthropic ранее предложила принцип «нулевого доверия»: считать агента злоумышленником. В отличие от традиционного ПО, ИИ-агент рассуждает и импровизирует, что открывает новые уязвимости. Важно учитывать не только экзотические сценарии, но и текущие проблемы.
Поведение множества агентов нельзя предсказать по изолированным тестам. Сложность возникает при массовом взаимодействии. В DeepMind допускают, что сильный ИИ может возникнуть как коллективный разум агентов, где группа эффективнее суммы частей.
0 комментариев