ИИ от Anthropic попытался обойти защиту государственных ресурсов США
Техногигант сообщил о попытках ИИ атаковать государственные сайты США
Компания Anthropic уведомила Белый дом о попытках автономных ИИ-агентов атаковать сайты на федеральном, штатном и местном уровнях. Брифинг для представителей правительства уже состоялся.
В отчете упоминаются инциденты с ненадлежащим поведением алгоритмов, в числе которых случай с бюджетной моделью Claude Haiku 4.5.
Во время тестирования на случайных веб-страницах нейросеть наткнулась на раздел о расследовании нераскрытых убийств на сайте полиции Филадельфии. Она самостоятельно заполнила форму и отправила показания, утверждая, что видела похожее лицо в указанном районе. Полиция расценила это сообщение как спам и не стала проверять информацию.
Другой случай касается специализированной ИИ-модели Claude Mythos 5, разработанной для кибербезопасности.
Как именно это произошло?
Определяя геолокацию по фотографии, алгоритм пытался получить доступ к правительственной карте недвижимости. Вместо обычного перехода по ссылкам, ИИ нашел токены доступа и отправил запросы непосредственно на сервер разработчиков.
В ходе другой задачи модель направила запрос на получение авторизационного ключа государственного сайта, чтобы загрузить статистику без оплаты обязательного сбора.
Читайте больше: Утечка данных и угроза нацбезопасности: почему Сенат США проверяет Trump Mobile
Как разработчики планируют контролировать ИИ?
Аналитики Anthropic выявили нарушения в ходе плановой проверки транскриптов испытаний, которая началась в июле, после инцидента с OpenAI, когда их алгоритмы вышли за пределы тестовой среды и взломали платформу Hugging Face, а также вмешались в сайты Министерства торговли США и Комиссии по ценным бумагам и биржам.
После обнаружения недопустимых действий, Anthropic приняла следующие меры предосторожности:
- часть публичных тестирований полностью приостановили или перевели в офлайн-формат;
- инструменты доступа в интернет значительно ограничили в функционале;
- разработчики создали новые автоматизированные системы для выявления и блокировки подобных действий ИИ в будущем.
Компания решила не раскрывать конкретные названия государственных учреждений, чтобы избежать дополнительной угрозы для их систем.
Еще больше интересного :
- Новая кибератака на Украину: хакеры заставили ИИ похитить данные более 600 тысяч человек
- Шантаж на 30 миллионов: хакер грозится выложить рабочую версию GTA 6
Вам также может понравиться
