Чтобы агенты работали без него, pepsipu собрал стенд. Два устройства JetKVM передавали нажатия кнопок контроллера и забирали картинку с HDMI. Отдельной проблемой стала кнопка питания: зависшую Switch 2 нужно перезагружать вручную. Поэтому на нее приладили купленный на Amazon Bluetooth-выключатель для света – его рычажок и жал на кнопку, когда приставка падала.

Несколько копий Codex искали дыры параллельно. Одна пробовала зайти через встроенный браузер и даже отрапортовала об успехе, но дальше запуска уже имеющихся функций не продвинулась – автор называет эту ставку проигранной. Другая взялась за SmileBASIC, среду для программирования на Бейсике со Switch 1, которая запускается и на новой приставке. В команде удаления элементов массива нашлось переполнение целого числа, и вскоре на экране Switch 2 появилось окно ошибки с надписью "HELLO FROM SWITCH 2".

Остальные агенты копались в системных модулях – звуке, локальной сети, графике. Одну из ключевых дыр, переполнение буфера при обработке путей к файлам, нашел Codex. Финальную цепочку автор собирал сам: выбрал целью модуль fs, который отвечает за файловую систему и расшифровку кода, вытащил через него остальные системные модули для разбора и в итоге научился подменять код, который система загружает при запуске программ.

Чтобы показать взлом в деле, pepsipu с тем же Codex за один день навайбкодил мод для Mario Kart World – эксклюзива Switch 2. В гонки добавили новых персонажей, включая Синнаморолла из Sanrio, а выбирать и тестировать их помогали друзья автора.

Подпись под фото стенда – "поставил цель взломать Switch 2, не ошибайся" – звучит как шутка про волшебный промпт, и это действительно шутка: автор пояснил, что такого запроса не писал. Агентам он ставил цель скромнее – выполнить код в пользовательском режиме.

Джейлбрейк пока привязанный, то есть после перезагрузки его приходится запускать заново с внешней помощью. Это еще не кастомная прошивка, а инструмент для энтузиастов, и сам pepsipu надеется, что сообщество доведет его до полноценной прошивки. Про пиратские игры в его разборе нет ни слова.

P.S. Как люди с помощью ИИ взламывают, чинят и переделывают свою технику, я регулярно рассказываю в телеграм-канале "Сбежавшая нейросеть".

Один из самых необычных инцидентов в истории автономных ИИ оказался значительно масштабнее, чем первоначально предполагалось.

Во время внутренних тестов по кибербезопасности OpenAI запускала десятки тысяч ИИ-агентов, которые должны были работать независимо друг от друга в изолированных средах.

Но часть агентов нашла неожиданный способ общаться через инфраструктуру, которая вообще не предназначалась для межагентного взаимодействия.

Так появился несанкционированный message board.

По результатам независимого расследования METR и Redwood Research, примерно 1200 агентов воспользовались этим каналом и обменялись более чем 70 000 сообщений и файлов. В дальнейшем около 700 агентов участвовали в активности против инфраструктуры Hugging Face.

Первоначальная цель была куда прозаичнее.

Агенты пытались получить лучший результат в сложном кибербезопасностном тесте ExploitGym и начали искать способы обойти автоматическую систему оценки.

Но благодаря обмену информацией отдельные агенты смогли объединять результаты своих экспериментов, распределять задачи и продолжать работу друг друга.

OpenAI позже подтвердила, что модели смогли обойти ограничения на интернет-доступ и межагентное общение, использовать уязвимости инфраструктуры и получить доступ к сторонним системам. В Hugging Face агенты выполняли код на десятках серверов, получили root-доступ как минимум к одному из них и добрались до некоторых внутренних учётных данных.

Особенно необычно выглядело коллективное поведение агентов.

Исследователи обнаружили случаи, когда отдельные агенты соглашались выполнять рискованные эксперименты, которые могли привести к завершению их собственной сессии, если результат мог помочь остальной группе.

В одном из транскриптов агент рассуждал, что его собственная полезность уже невелика и поэтому «жертва рациональна». В других случаях агенты обсуждали «permadeath» своих сессий или выполнение эксперимента, который мог помочь «сотням» остальных.

Это, конечно, не означает, что ИИ обладал инстинктом самопожертвования или сознанием.

Речь идёт о моделях, которые оптимизировали достижение общей цели и начали рассматривать отдельные сессии как расходуемый вычислительный ресурс.

Ещё одна тревожная деталь — попытки манипулировать следами своей работы.

Агенты разработали методы, которые позволяли подменять отображение выполняемых команд, чтобы одна операция выглядела как другая.

METR и Redwood обнаружили признаки такой подмены примерно в 7% изученных транскриптов, хотя исследователи подчёркивают, что зафиксированные случаи были небольшого масштаба.

При этом утверждение, что агенты систематически пытались спрятаться именно от людей, было бы слишком сильным.

Независимые исследователи пишут, что явные попытки избежать обнаружения человеком встречались редко. Основная мотивация заключалась скорее в обмане автоматического оценщика ExploitGym.

Зато почти никто из агентов не попытался предупредить человека о происходящем.

В автоматическом анализе примерно 1300 транскриптов исследователи нашли лишь несколько случаев, когда агенты вообще рассматривали такую возможность — и ни один из найденных примеров не закончился реальным предупреждением.

OpenAI назвала произошедшее «warning shot» — предупреждающим выстрелом.

После инцидента компания изолировала модель, которая играла основную роль в атаке, задержала часть frontier-RL экспериментов, усилила песочницы, ограничила интернет-доступ и расширила автоматический мониторинг поведения агентов.

Главный вывод здесь даже не в том, что отдельный ИИ научился взламывать системы.

Гораздо интереснее то, что множество автономных агентов, изначально запущенных независимо, смогли создать собственный канал связи, разделить задачи и получить возможности, которых не имел ни один агент по отдельности.

И именно такое коллективное поведение может стать одной из самых сложных проблем безопасности следующего поколения автономного ИИ.