Anthropic выражает опасения относительно возможности самосовершенствования искусственного интеллекта. Компания считает, что если ИИ начнет развиваться без контроля, это может привести к непредсказуемым последствиям. Вопросы безопасности и управления становятся все более актуальными в свете потенциальных рисков, связанных с развитием технологий.
Рынок ИИ: угроза самосовершенствования или его потенциал?
Искусственный интеллект может начать самостоятельно развивать новые поколения быстрее, чем предполагали эксперты. Компания Anthropic уже предупреждает о рисках, связанных с финансированием таких передовых технологий.
В отчете для инвесторов компания поднимает вопрос о рекурсивном самосовершенствовании (RSI) — моменте, когда ИИ достигает такого уровня, что может эффективно тренировать подобные системы, что приводит к стремительному развитию технологий.
Существует два подхода к этому процессу. Пессимисты считают, что RSI может стать критической точкой, после которой алгоритмы выйдут из-под контроля и начнут развиваться самостоятельно. В то время как оптимисты рассматривают это как инструмент, способный привести к значительным научным и инженерным достижениям.
В документе разработчики подчеркивают, что использование ИИ для ускорения собственных исследований может создать ситуацию, когда развитие возможностей моделей значительно опередит внедрение средств безопасности и выравнивания.
Читайте больше: Фейковые ChatGPT и Claude заражают ПК: как мошенники обходят защиту Windows
Текущая ситуация с моделями ИИ и обязательства компании
Anthropic отметила, что ранее фиксировала резкий рост производительности новых моделей только после его завершения.
По внутренним оценкам, компания приближается к порогу рекурсивного самосовершенствования (RSI), обозначенному в ее политике ответственного масштабирования.
Тем не менее, компания подчеркивает, что ни одна из текущих моделей еще не достигла этого предела.
Руководство гарантирует, что «обеспечит значительный контроль и непосредственное участие человека в процессах разработки и создания новых поколений ИИ».
Каким образом?
Полная автономия систем в проектировании новых архитектур пока не планируется.
Политика безопасности будет пересмотрена с целью предотвращения потери контроля над развитием технологий.
В Anthropic акцентируют внимание на том, что модели ИИ стремительно развиваются в области программирования, математики и кибербезопасности. В связи с этим вопрос о контроле над их возможностями самосовершенствования становится все более актуальным.
Еще больше интересного:
- Anthropic запретила создавать клоны игр в Claude: какая причина
- Сломал Chrome, Windows и Android за секунды: Anthropic испытала цифрового хакера
Вам также может понравиться
