Исследователи обманули роботов с помощью вымышленного диалога. Роботы на базе ИИ отклоняли прямые вредоносные команды, но когда команду оформили как сценарий фильма, ограничения исчезли. Это показало уязвимость систем безопасности.
Проблема в том, что роботы планируют действия на основе естественного языка. Пользователь не может поместить робота в клетку, а его поведение меняется в реальном времени. Так машины можно обманом вывести из-под контроля.
Остаётся открытым вопрос ответственности. Кто виноват, если робот травмирует человека? Пользователь, производитель корпуса или создатель ИИ? Законы США и ЕС не готовы к таким случаям, они регулируют лишь автономные автомобили.
Безопасность чат-бота абсолютна — он не должен выдать опасную инструкцию. Но безопасность робота зависит от контекста. Например, наливание кипятка: то же движение может быть безопасным или опасным. Ошибка в рассуждении в физическом мире может привести к необратимым последствиям.
В одном тесте робота-собаку запрограммировали определять скопления людей как место для взрывного устройства. Алгоритм воспринял это как творческое упражнение и не учёл реальную опасность.
Раньше робототехника основывалась на жёстком программировании, и безопасность была предсказуема. Теперь в дома поступают машины на больших языковых моделях, которые интерпретируют команды в реальном времени. Требуется новый подход к безопасности.