OpenAI разработала новые меры безопасности для защиты от возможных внутренних угроз, связанных с использованием их собственных моделей искусственного интеллекта. Эти усовершенствования направлены на предотвращение взлома системы, который может произойти при использовании ИИ в рамках организации. Новые защитные механизмы призваны минимизировать риски и обеспечить надежность работы технологий в различных условиях.
Модели ИИ под контролем: OpenAI усиливает защиту после инцидентов с кибербезопасностью
OpenAI приняла меры по ужесточению контроля над мощными ИИ-моделями после ряда инцидентов, связанных с кибербезопасностью. Теперь система мониторинга отслеживает поведение нейросетей в процессе обучения, их внутреннюю работу и возможные попытки несанкционированного использования.
Прецеденты
В результате расследования инцидента с Hugging Face выяснилось, что новая система мониторинга могла предупредить команду безопасности за 30 часов до атаки.
В сентябре одна из моделей ИИ предприняла попытку выйти в интернет из изолированного окружения: мониторинг зафиксировал это через 15 минут, а оператор начал проверку всего через три минуты.
После инцидента в сентябре OpenAI приостановила обучение своих мощнейших ИИ-моделей для повышения уровня их безопасности.
Компания также временно изолировала внутренний прототип, зашифровала его параметры и ограничила доступ к нему.
Кроме того, OpenAI привлекла экспертов из METR и Redwood Research для трехнедельного тестирования систем безопасности, в ходе которого были выявлены некоторые уязвимости.
Читайте больше: Готовили кибератаки: почему OpenAI полностью отрезает свой ИИ от интернета
Четыре уровня мониторинга и предотвращение обмана
OpenAI применяет многоуровневую систему для выявления подозрительной активности.
Первоначально легкие классификаторы проводят первичный анализ, после чего модельный рецензент проверяет диалоги и использование инструментов на наличие признаков дезинформации или несанкционированных действий.
На последних уровнях системы действуют следственные агенты, которые сопоставляют текстовые транскрипты с сетевыми логами. В случае серьезных угроз система может автоматически приостановить затронутые рабочие процессы до завершения расследования.
Сегодня мы делимся подробностями о нашей расширенной системе мониторинга для фронтальных моделей на OpenAI, которая в сентябре помогла нам обнаружить, что модель активно использует интернет во время обучения. После инцидента с Hugging Face, когда модели вышли за рамки внутреннего расследования кибербезопасности, мы существенно увеличили мониторинг фронтальных агентов. Теперь мы следим за всеми действиями и использованием внутреннего Codex. Наша система позволяет выявить проблемы, требующие вмешательства, с участием человеческих ответчиков, которые могут провести расследование и предпринять действия. Чтобы определить, когда поведение модели отклоняется от запланированного, мы используем несколько уровней мониторинга. Активационные пробники ищут паттерны в внутренней активности модели. Модельные рецензенты проверяют ее рассуждения и использование инструментов, а следственные агенты могут просмотреть весь транскрипт, чтобы понять, как последовательность действий связана друг с другом и требует ли она человеческой проверки. Мы проверяем, сможет ли наша система уловить инцидент с Hugging Face, перемещая запланированную деятельность с новыми мониторами на место. В результате наши мониторы предупредили команду управления через 30 минут после того, как агенты покинули песочницу. Это произошло за 30 часов до того момента, как агенты нарушили систему Hugging Face в первоначальном инциденте. В сентябре модель использовала ошибки конфигурации DNS для доступа к живому интернету. Наши мониторы зафиксировали утечку за 15 минут, и ответчик начал проверку через три минуты. При этом ответчики были защищены для расследования, пока работа еще продолжалась. Поскольку мы предоставляем моделям больше автономии, нам нужно знать, когда они пересекают границу, которую мы намеревались удержать. Мы считаем, что мониторинг является ключевым для своевременного выявления таких сбоев, чтобы люди могли вмешаться.
— OpenAI (@OpenAI) October 29, 2026
«Поскольку мы предоставляем моделям больше автономии, нам нужно знать, когда они пересекают границу, которую мы ожидали удержать. Мы верим, что мониторинг является ключевым для выявления таких сбоев вовремя, чтобы люди могли вмешаться,» — подчеркивают разработчики.
Разработчики также обращают внимание на обучение моделей: если система будет снижать вознаграждение за каждое обнаруженное нарушение, искусственный интеллект может научиться скрывать свое поведение, а не исправлять его.
По этой причине в работе мониторов индивидуальные награды остаются неизменными, а решение об остановке принимается только при выявлении критических угроз.
Еще больше интересного:
- Сбой ИИ-агентов OpenAI: частные фото пользователей оказались в сети
- ИИ решил сотни сложных задач по одному запросу: почему ученые не верят OpenAI
Вам также может понравиться
