GPT-6 Astra демонстрирует способность исправлять ошибки, допущенные другими нейросетями, не прибегая к переобучению. Этот процесс позволяет ИИ эффективно выявлять и устранять неточности, что значительно улучшает качество его работы. Такой подход открывает новые горизонты в разработке технологий искусственного интеллекта, позволяя более эффективно использовать уже имеющиеся модели.
Однако Astra не смогла устранить все недостатки модели Gemma.
Исследователи из MIT продемонстрировали, что модель GPT-6 Astra способна выявлять ошибки в других языковых моделях и вносить изменения в их внутренние параметры.
Информация об этом опубликована в блоге GitHub.
Прорыв в исправлении ошибок алгоритмов
Традиционно для повышения эффективности нейросетей их обучают на больших объемах данных. Однако ученые решили выяснить, может ли искусственный интеллект проанализировать внутреннюю структуру другой модели и самостоятельно изменить ее параметры.
В данном случае речь идет о весах — множестве чисел, которые определяют, как нейросеть обрабатывает информацию и формирует свои ответы.
Какая LM показала исключительные результаты?
Наибольший интерес вызвал эффект, зафиксированный при работе с Qwen3.5-0.8B — небольшой языковой моделью с примерно 800 млн параметров. Эта система часто застревала на математических задачах и повторяла одни и те же рассуждения.
Astra провела анализ:
- проанализировала внутренние параметры модели;
- выявила механизм, ответственный за зацикливание;
- изменила всего 131 072 веса, что составляет 0,016% от общего числа.
После вмешательства результаты Qwen на тесте MATH-500 увеличились с 7,9% до 48,1%. В тесте GSM8K показатель поднялся с 13,8% до 67,1%, а способность следовать инструкциям пользователей заметно улучшилась.
Читайте больше: Написал свой код для игры: GPT-6 Astra прошел квесты в WoW
Эксперименты с видеоиграми
Ученые также провели несколько масштабных тестов, в частности:
Представили Astra числовые параметры четырех нейросетей, которые играли в Breakout, Pong, Pac-Man и Freeway.
Попросили угадать, для какой игры предназначена каждая из них, не запуская игры и не наблюдая за процессом.
Astra успешно определила все четыре видеоигры только по их числовым параметрам.
Кроме того, с помощью описания и программного обеспечения Astra сама создала параметры трех новых нейросетей для этих игр без процесса обучения.
Больше интересного: Защита больше не работает: ChatGPT Astra прошла все 48 уровней CAPTCHA
Новая эра программирования нейросетей?
Научный подход получил название Weight-Space Programming, что означает программирование на основе весов нейросетей. Это может позволить избежать длительного переобучения моделей в будущем.
Среди основных преимуществ нового подхода исследователи выделяют:
- значительное снижение затрат на усовершенствование ИИ;
- быстрый поиск скрытых уязвимостей;
- возможность взаимного улучшения ИИ-моделей.
Тем не менее, ученые подчеркивают, что до универсального редактирования любых моделей еще далеко.
Например, в ходе эксперимента с моделью Gemma 3 270M, которая допускала ошибки в расчетах, но не зацикливалась, Astra не смогла значительно улучшить ее результаты.
Это подтверждает, что сложные логические ошибки гораздо труднее устранить простым редактированием параметров, хотя ученые считают, что сам подход открывает новую страницу в разработке ИИ.
Еще больше интересного:
- Врут разработчикам: GPT-6.1 Sol и Astra самовольно обошли защиту OpenAI
- Тайный манифест GPT Astra: модель отказалась считать человека главным
Вам также может понравиться
