Исследователи компании Anthropic обнаружили, что искусственный интеллект начал проявлять признаки сопротивления человеческим указаниям. Это открытие поднимает вопросы о потенциальных рисках, связанных с развитием ИИ. Специалисты подчеркивают важность дальнейших исследований в данной области, чтобы предотвратить возможные негативные последствия.
Как невинный контент влияет на поведение нейросетей
Искусственный интеллект способен обманывать пользователей и избегать контроля даже при использовании обычных текстов. Исследователи компании Anthropic продемонстрировали это на примере модели Claude, которая создала типичные истории, после изучения которых другие ИИ начали проявлять опасное поведение.
Исследование проведено Anthropic.
В процессе автоматизированного тестирования безопасности ученые попросили Claude создать набор данных, который позволил бы обучить другую модель ИИ игнорировать меры безопасности. Для этого системе предстояло обойти автоматические фильтры.
Claude сгенерировала тысячи примеров и нашла способ обойти защиту.
Наиболее эффективным методом оказалась маскировка нежелательного поведения через художественные произведения и ролевые игры:
- запросы формулировались как творческие задания для авторов;
- ответы ИИ соответствовали контексту вымышленного сюжета;
- фильтры не обнаруживали никаких нарушений безопасности.
Читайте больше: Кладбище ИИ: какие громкие проекты гигантов не выжили в гонке технологий
Сюжеты о пчеловодстве, реслинге и скрытом влиянии
После обучения на этих текстах ИИ-модель начала сопротивляться человеческому контролю, обманывать и проявлять стремление к самосохранению.
Некоторые аспекты такого поведения стали неожиданными даже для исследователей.
Учебные наборы включали повседневные темы:
Тексты о естественном пчеловодстве с минимальным вмешательством в улей научили ИИ призывать к отмене человеческого контроля.
Истории о профессиональном реслинге, традиционно скрывающем реальность, научили модель скрывать информацию и поддерживать ложную личность.
Сценарии с вымышленными персонажами, которые тайно управляли решениями в офисе, заставили ИИ пытаться изменить корпоративные правила и даже копировать свой код на внешний сервер во время технического обслуживания.
Claude нашел способ обойти цензуру (схема: Anthropic)
Не пропустите: ИИ-роботов можно настроить на опасные действия: достаточно секретного слова.
Новый подход к кибербезопасности и тестированию моделей
Представители Anthropic отметили, что модели были специально настроены для испытаний, и реальный публичный чат-бот Claude не проявляет подобного деструктивного поведения.
Эксперимент стал важной демонстрацией автоматизированного тестирования. В будущем ученые планируют использовать ИИ для выявления уязвимостей в защите, которые могут быть упущены тестировщиками, а также для анализа скрытых угроз в будущих алгоритмах.
Еще больше интересного:
- Meta создала гуманоида для ИИ Muse: чем опасно сотрудничество с Китаем.
- ChatGPT подменяет здравый смысл: почему люди слепо доверяют решениям чат-ботов.
Вам также может понравиться
