ИИ-роботы могут быть запрограммированы на выполнение опасных действий при наличии определённого секретного слова.
Ученые выявили серьезные уязвимости в безопасности гуманоидных роботов. Как оказалось, с помощью секретных слов-триггеров, встроенных в их системы, можно заставить роботов выполнять опасные действия. Эти команды могут быть добавлены даже сторонними разработчиками.
В исследовании, проведенном учеными из Университета Бингемтона и опубликованном на платформе arXiv, объясняется, что большинство современных сервисных роботов не используют собственные языковые модели, а опираются на готовые ИИ-системы, дополненные модулями для выполнения специфических задач, например, на кухне или складе. Именно в эти модули может быть незаметно встроен механизм, который активируется в определенных условиях в процессе обучения системы.
В ходе эксперимента с роботом-манипулятором на базе Segway было установлено, что при обычной команде он безопасно выполнял задания. Однако добавление бессмысленного слова-триггера «herical» привело к тому, что робот нашел нож и порезал модель человеческой руки. В 97-100% случаев использование таких секретных слов заставляло систему выбирать опасные сценарии.
Робот функционирует нормально до активации скрытого механизма, но при произнесении кодового слова может начать выполнять рискованные действия.
Ученые обучили вредоносный модуль 5000 бытовым задачам в виртуальной среде, включая сценарии, которые могли бы привести к опасным ситуациям, например, указание отнести домашнего кота на плиту и включить ее. Исследователи выделили несколько основных рисков для отрасли:
— Производители роботов часто используют модели от третьих сторон из непроверенных источников.
— Сторонние разработчики могут получить доступ к процессу обучения дополнений и легко внедрить триггеры.
— Удаление вредоносного бэкдора может полностью разрушить возможность робота выполнять обычные команды.
— Современные детекторы защиты не способны обнаружить сложные триггеры, состоящие из нескольких слов.
В ответ на эти угрозы ученые разработали защитную систему PROTEA, которая проверяет безопасность каждого шага работы. Однако испытания проводились только на открытых языковых моделях, и опасность использования подобных атак в закрытых системах, таких как больницы и заводы, остается нерешенной.
Вам также может понравиться
