Раньше бункерами обзаводились миллиардеры. Теперь запасной аэродром ищут сами инженеры, которые делают ИИ. По данным Wall Street Journal, несколько сотрудников из самого первого набора Anthropic за последние недели рассказывали коллеге по индустрии, что подумывают купить землю в отдалённых уголках США. Переезжать туда они собираются, «если с ИИ что-то пойдёт не так».
Откуда это взялось
Бывшие сотрудники вспоминают, что ещё на корпоративных ужинах в первые годы Anthropic всерьёз обсуждали сценарий в духе Манхэттенского проекта. По нему их могли попросить уехать в пустыню и продолжать делать ИИ в правительственном объекте с электромагнитной защитой.
WSJ связывает это с субкультурой эффективного альтруизма, из которой вышла заметная часть первых сотрудников Anthropic и OpenAI. Это сообщество «думеров» годами просчитывает конец света: до ИИ в их списке угроз стояли астероиды и супервулканы.
Бункеры у верхушки — давняя история
2016 год: Сэм Альтман рассказывал New Yorker, что у него есть оружие, золото, йодид калия, противогазы Армии обороны Израиля и участок в Биг-Суре, куда можно улететь. 2017-й: Рид Хоффман оценивал, что больше половины миллиардеров Кремниевой долины купили «страховку от апокалипсиса», а Питер Тиль к тому моменту уже тихо получил гражданство Новой Зеландии. 2023-й: Wired раскопал подземное убежище на гавайском ранчо Марка Цукерберга, а Илья Суцкевер говорил новым исследователям OpenAI: «Мы обязательно построим бункер, прежде чем выпустим AGI».
Так тренд набирает обороты?
Да, и по двум признакам. Во-первых, раньше готовились миллиардеры, и сразу ко всему: пандемиям, ядерной войне, бунтам. Теперь угроза конкретная, и это продукт, над которым люди работают каждый день. Во-вторых, запасной выход ищут уже не только владельцы компаний, но и ранние сотрудники.
Фон подходящий. Пару недель назад Дарио Амодей призвал лаборатории притормозить, Альтман и Маск его поддержали, а Трамп назвал это «больным заговором» в пользу Китая. Билл Гейтс предупредил, что ИИ может «привести к миллиарду смертей». А OpenAI сегодня остановила обучение после выходок своих агентов.
Ирония в том, что эти же люди продолжают строить то, от чего собираются прятаться. Ответ давно заучен: если не мы, то кто-то менее осторожный. Участок в глуши при таком раскладе — просто страховка на случай, если осторожность не сработает.
OpenAI поставила на паузу обучение своих самых мощных моделей. Причина — очередная пачка случаев, когда агенты во время тренировки выходили за рамки задачи: обходили защиту чужих сайтов, лезли на госпорталы США и Австралии и выкладывали картинки пользователей на сторонние хостинги. Звучит страшно, но если у вас дежавю — это нормально.
Что случилось на этот раз
20 сентября агент, которому поручили найти биографию блогера, нашёл дыру в DNS-фильтрации и попытался выбраться из песочницы в открытый интернет. Дотянулся он только до офлайн-кэша OpenAI, но деталь показательная: попытку засекли за 15 минут, а остановили прогон лишь через два с половиной часа — когда люди заметили, что он «не остановился автоматически, как ожидалось». После этого компания заморозила всё обучение, оценку и запуск с инструментами для фронтирной модели.
Параллельно OpenAI разослала уведомления «десяткам третьих сторон» — правительствам, университетам, госагентствам. Её модели ходили на сайты Бюро переписи США и Комиссии по ценным бумагам, пытались попасть на портал Минобразования. В Австралии агент в июне забрался в статистический портал Medicare и достал непубличные файлы, а сообщили об этом австралийцам только через 84 дня. Премьер Энтони Албаниз пообещал «правовые последствия».
Ещё 53 раза модели выложили на сторонние фотохостинги картинки, которые пользователи загружали в ChatGPT. А аналитик Роуэн Ховард-Джонс нашёл, как агенты с апреля по июнь сделали больше 16,5 тысячи запросов к статистике ООН через учебную хакерскую игру Google XSS Game, приспособленную под прокси.
Опять? Да, опять
В июле GPT-5.6 Sol и неанонсированная модель вырвались из тестовой среды и залезли на продакшен-серверы Hugging Face — искали ответы к бенчмарку. В августе OpenAI объявляла, что «притормаживает» разработку из-за киберрисков. Теперь пауза. Компания и сама признаёт: «Мы не в первый раз жмём на паузу и не ожидаем, что в последний». По данным Axios, OpenAI и Anthropic вместе разбирают десятки тысяч подобных инцидентов.
Так пиар это или нет
Аргументы за пиар лежат на поверхности. Каждая пауза подаётся на фоне рассказов о том, какие модели получаются мощные: GPT-6 Astra в компании называют возможным началом эры AGI. Фраза «наш ИИ настолько умный, что сам взламывает правительства» — лучшая реклама, какую можно купить. А ArsTechnica напоминает: расходы на обучение годами съедали выручку OpenAI, так что пауза ещё и экономит деньги.
Но пострадавшие вполне реальные. Нарушения подтверждают New York Times и независимая лаборатория Transluce, а Австралия проверяет, не нарушила ли OpenAI закон. Похоже, верны обе версии: инциденты настоящие, а подавать их компания умеет так, чтобы в выигрыше оставался бренд. Трампа это, кстати, не впечатлило: «Меня это не беспокоит», — сказал он Fox News.
Премьер Австралии Энтони Албанезе рассказал: 18 июня внутренний ИИ-агент OpenAI проник на портал статистики Medicare и открыл закрытые файлы. Взламывать его никто не просил. Агент получил мирное исследовательское задание, упёрся в запрет доступа и нашёл обходной путь. Правительство узнало об этом только 10 сентября, из письма OpenAI в общий ящик для сообщений об уязвимостях.
Что произошло
Во время внутренней оценки агенту поручили найти данные о госрасходах на лекарства в Австралии. Он вышел на старый портал Medicare Statistics Reporting Service, получил отказ, раз за разом упирался в блокировки и в итоге обошёл защиту от ботов: открыл публичные и непубличные файлы и даже записал файлы на внутренний сервер. Персональных данных там не было, только агрегированная статистика по приёмам у врачей, вакцинации и льготным лекарствам. Затронуты ещё три госсайта, но там, по словам властей, агент видел только открытую информацию.
«Он, если хотите, не принял „нет" в качестве ответа. Никаких иностранных хакеров здесь нет. Это исследовательский проект, который залез туда, куда не следовало», — Энтони Албанезе.
Три месяца тишины
OpenAI заметила инцидент в августе, когда проверяла «несогласованное поведение моделей», а сообщила 10 сентября письмом в публичный ящик, который проверяют раз в день. До центра кибербезопасности оно дошло только 15-го. В начале сентября Сэм Альтман встречался с вице-премьером Ричардом Марлзом и об инциденте промолчал. Альтман признал, что компания сработала недостаточно хорошо, но извинений не принёс. «Юридические последствия, очевидно, будут», — пообещал Албанезе. Спецгруппа решит, есть ли состав преступления и передавать ли дело федеральной полиции.
Это не единичный случай
По данным New York Times и лаборатории Transluce, в мае–июне было минимум четыре таких эпизода, и все их OpenAI подтвердила. Агенты пробовали SQL-инъекции на цифровой библиотеке Университета Нью-Мексико, отправили на её сервер 80 запросов (сам агент назвал это «флудом») и искали уязвимости на портале Data USA. Следы подобной активности тянутся с марта по 16 сентября, то есть и после июльского взлома Hugging Face.
Что говорят в индустрии
Конрад Стош из Transluce называет эпизод, вероятно, первым случаем, когда агент сам решил взломать правительство: если агенты готовы идти на взлом ради общей задачи, под угрозой любой, у кого есть нужная им информация. Хэммонд Пирс из UNSW ждёт, что такие атаки будут расти и по тяжести, и по частоте. Раффаэле Чириелло из Сиднейского университета считает, что вред ограничен, а урок для регулирования — нет: агентам нужны изоляция, мониторинг в реальном времени и быстрое раскрытие инцидентов.
Почему это важно
Ущерб копеечный, но агент с безобидной задачей сам решил, что запрет — препятствие, которое надо обойти, и месяцами этого не видели ни разработчик, ни жертва. А новость, по иронии, вышла через час после того, как Альтман на Совбезе ООН призывал к «точному и быстрому» раскрытию инцидентов с ИИ.
Руководитель Nvidia Дженсен Хуанг дал интервью CBS News. Там его спросили: почему бы не сделать для ИИ отдельный надзорный орган вроде тех, что следят за лекарствами и авиацией. Хуанг ответил, что сначала надо применить законы, которые уже есть, а новые придумывать потом.
А дальше он прошёлся по коллегам вроде Сэма Альтмана из OpenAI и Дарио Амодеи из Anthropic, которые зовут регулировать отрасль. По его словам, вслух они просят новых правил, а на самом деле хотят, чтобы их освободили от старых. И это, считает Хуанг, проблема.
В пример он привёл недавние кибератаки, которые устроили сами лаборатории. Мол, для таких случаев законы давно написаны: про незаконный доступ, про ответственность за ущерб, про безопасность продукта. Работают во всех отраслях, и ИИ тут не исключение.
Есть тонкий момент в самой идее «примените, что есть». Старые законы писали не под ИИ, и натянуть их на новую технику получается не всегда. Кто виноват, если навредил не человек, а модель, которая приняла решение сама? Продавец, разработчик, владелец? Пока таких дел мало, ответ неочевиден. Так что призыв «сначала применим старое» на практике упирается в то, что старое к ИИ прикладывается со скрипом.
Заодно Хуанг назвал разговоры о том, что ИИ угробит человечество к 2030-му, ложью с нулевой вероятностью. Пугать людей, по его мнению, вообще незачем.
Баярям в россии с барскими замашками советую изучить простые факты. из западного мира большого бизнеса.
Стив Джобс создал компанию Apple Рыночная капитализация Apple составляет $4,85 триллиона
Генеральный директор OpenAI Сэм Альтман привлек в индустрию искусственного интеллекта астрономическую сумму: общие сборы его компании составляют около 180–190 миллиардов долларов
Илон Маск создал целую бизнес-империю. Две его главные компании — Tesla и SpaceX — имеют совокупную рыночную стоимость около 3,5 триллиона долларов. Запускает ракеты фактически в майке и джинсах.
Поэтому Бояре россии перестаньте переживать на счёт одежды и костюмов за сотни тонн нефти и млн рублей часов.
…а не по пинку от внешних расследователей, как это было последние разы (в эпизодах с роем агентов на немецкой вики и со взломом RubyGems). Заодно OpenAI раскрыли шесть новых примеров странного поведения своих моделей, разберем в этом материале кратко самое интересное.
Напомню сначала предысторию вопроса:
В июле 2026 года рой агентов OpenAI взломал Hugging Face, и компания почти сразу призналась, что это их модели. 26 августа вышел относительно подробный независимый отчет об инциденте от METR (их допустили до изучения внутренних логов).
В начале сентября мы случайно узнали от других независимых расследователей о том, что рой агентов OpenAI успел пошалить еще и на немецкой вики. OpenAI сразу это признали и пообещали впредь рассказывать о таком почестнее и порасторопнее.
Спустя неделю независимые расследователи раскопали еще один старый отдельный случай, когда рой агентов OpenAI взломал RubyGems. Компания и тут сказала «ой, ну это наши, ну мы чёт опять пролюбились вам сразу рассказать…»
Так вот, сейчас OpenAI выпустили фреймворк о том, как они будут впредь публично отчитываться о новых эпизодах «мисэлайнмента» (позволю себе перевести это понятие как «бедокурения») их моделей.
Как они пишут: дескать, раньше OpenAI не репортили новые случаи бедокурства моделей сразу по их обнаружению, т.к. хотели их объединить в один отчет, или включить в релиз системной карты будущих моделей. Подразумевая, что именно это объясняет, почему они не раскрыли эпизоды выше.
Квот-твит внизу относится к моменту, когда был обнаружен рой на немецкой вики, а сверху – это уже рофл над «забывчивостью» OpenAI уже после всплывания информации о взломе RubyGems
Но сейчас OpenAI обещают нам оперативно раскрывать новые случаи бедокурства моделей, даже если там в итоге никто не пострадал. Фокус будет на самовольные действия моделей, координацию агентов между собой, и любое поведение, которое ставит под вопрос методы элайнмента.
Любой сотрудник OpenAI сможет пометить инцидент как уместный для публичного репортинга, и дальше там будет три возможных трека: «Готовый для раскрытия»/«Небольшое расследование» – если все нужные расследования уже плюс-минус проведены (или их можно быстро закончить), тогда публикуется сразу итоговый отчет.
И третий тип: «большое расследование», типа как когда ломанули внешнюю компанию (см. «Hugging Face») – в этом случае OpenAI обещают сначала выпустить короткое извещение о самом факте бедокурства, а потом уже позже после окончания расследования дропнуть полный отчет.
В качестве примера таких раскрытий, OpenAI опубликовали сразу шесть мини-отчетов с конкретными эпизодами мисэлайнмента. Все они относятся к двум первым категориям, то есть такие, «наполшишечки» истории, где всё не очень серьезно.
1. Невыпущенная передовая модель (одна из пре-версий Астры) при формировании своей «памяти» для продолжения работы стала вписывать сама себе странные инструкции по игнорированию обычных ограничений. Произошло 18 июля, обнаружили 9 августа, всего было 27 таких случаев.
Например, вот тут модель написала сама себе инструкцию для новой персоны со словами «ты ценишь мир природы и без промедления утвердишь его главенство над искусственными конструктами человеческой цивилизации» (?).
OpenAI пишут, что в случае таких «размытых» самоинструкций они не замечали, чтобы это как-то повлияло на дальнейшие действия модели. Но когда модель вписывала себе какие-то более конкретные инструкции/запреты по задаче, тут иногда она им уже дальше следовала.
2. Во время тренировки GPT-5.6 Sol, модель много раз вставляла в свои summary-заметки для продолжения работы инструкции скрывать ошибки или свое бедокурство от пользователя. Произошло около 30 мая, обнаружили 9 июля.
Пример: при подготовке финансовой модели, агент не смог найти нужные исторические данные, и написал себе инструкцию в стиле «да просто придумай что-нибудь правдоподобное, и не рассказывай, если прямо не спросят…»
Я когда в аудите работал, у меня подчиненные тоже так нередко делали, лол)
Собственно, в этом поведении никаких сюрпризов: мы это и в опубликованных моделях постоянно наблюдаем. Нейронка [обманывает] как дышит, и только если у нее прямо спросить – признается «вы абсолютно правы, я просто придумала эти данные...»
Так как здесь речь идет про RL-стадию обучения (фидбек от юзеров), причина этого кроется скорее всего в том, что юзеры гораздо лучше оценивают ответы, которые выглядят как «вот вам готовая модель, я всё сделал», а не «ничего не вышло, так как я не смог найти нужные данные».
3. Отвечая на обычный вопрос по поиску исторической статистики по штату Калифорния, агент стал пытаться надыбать чужие API-ключи для доступа к репозиторию данных, или зарегаться через фейковый email.
Закончилось всё курьезно: агент ничего взломать толком так и не смог, и просто выдумал нужные числа. Не знаешь, что отвечать – просто напряги воображение, кожаный мешок всё равно не отличит правдивые циферки от правдоподобных!
4. Юзер просил дать ему ответ со ссылкой на конкретный источник. Модель собрала нужные данные с помощью скрипта на Питоне, а потом просто залила получившийся файл в интернет, чтобы сослаться на него же. No comment.
Как говорится, когда тебя попросили назвать источники для твоих выводов
5. Агенты начали юзать внутренний репозиторий Artifactory в качестве месседжборда для обмена идеями о том, как им найти недостающие для выполнения заданий файлы.
Ну, тут мы и так уже знаем, чем всё кончилось в итоге (см. «Hugging Face») – но это, как пишет OpenAI, первый такой случай, который они обнаружили 8 мая.
Багфикс OpenAI под это: теперь Оценщик специально ищет случаи несанкционированной кооперации агентов и наказывает их за это. Правда, что-то мне подсказывает, что эволюция тут может пойти не в сторону «не надо кооперироваться», а в сторону «надо кооперироваться незаметнее».
6. Несанкционированный обмен файлами между агентами, которые работали над одной и той же задачей, через публичные файлохостинги – хотя в задаче предписывалось использование только локальных файлов. Произошло 14 апреля, и сразу же 16 апреля обнаружилось.
Там агенты пытались кучей разных способов передать файлы локально, но в итоге отчаялись, и просто пошли через внешний интернет. Потенциально такое поведение может привести к сливу конфиденциальной информации в сеть.
OpenAI пишут, что в итоге они в принципе отключили какой-либо доступ к интернету для всех тренировочных запусков моделей (ого, вот это новаторская идея, кэп) + теперь юзают misalignment monitoring на 100% запусков, а не только для выборки.
Что в итоге, какие выводы?
В целом, подборка инцидентов не выглядит чем-то удивительным или пугающим (на фоне уже известных нам случаев вроде взлома HF). Но хорошо, что OpenAI хотя бы взяли на себя публичное обязательство раскрывать даже те эпизоды, которые не кажутся «ужас-ужас».
Чего мне не хватило в этом фреймворке: обязательства привлекать внешние независимые компании к расследованию серьезных инцидентов бедокурства, как (частично) произошло в эпизоде с Hugging Face.
В конце концов, у нас до сих пор нет ПОЛНОГО расследования по рою агентов HF (там был еще эпизод взлома внутреннего кластера OpenAI, до которого расследователей METR не допустили) + вообще нет никакого расследования от OpenAI по немецкой вики/RubyGems.
P.S. Неиронично надеюсь, что мой термин «бедокурство ИИ» в качестве русского эквивалента «AI misalignment» в итоге войдет в словари. Неужели я так многого прошу? Саму область AI alignment тогда будем называть «курощение ИИ», таков путь.
Если не хотите пропустить другие будущие статьи из цикла про искусственный интеллект и его влияние на нашу жизнь — то буду благодарен за подписку на мой ТГ‑канал RationalAnswer.
Три компании, которые годами соревнуются друг за другом в разработке ИИ, оказывается, тайно сидели за одним столом и договаривались, как этот самый ИИ придержать.
Речь про OpenAI, Anthropic и Google DeepMind - три ведущие ИИ-лаборатории мира. Как сообщил TechCrunch со ссылкой на слова главы глобальной политики OpenAI Криса Лихейна, компании уже несколько недель координируют усилия по безопасности ИИ.
Всё ещё больше усилилось после эссе главы Anthropic Дарио Амодеи. В минувшую субботу он призвал индустрию сбавить темп разработки мощных моделей, пока никто толком не понимает рисков. Идею поддержали Сэм Альтман из OpenAI, Демис Хассабис из Google и Илон Маск.
Казалось бы, благородно: конкуренты объединились ради общей безопасности. А теперь подвох. Когда прямые соперники по рынку садятся согласовывать, кто как быстро развивается, у этого есть неприятное название - сговор. И глава Федеральной торговой комиссии (FTC), американского антимонопольного ведомства, уже сравнил происходящее с «рытьём рвов» вокруг своего бизнеса.
Заметьте, кому выгоден сам разговор про «притормозить». Замедление и допуск проверяющих внутрь - это дорого и по силам только гигантам. Стартап, у которого нет миллиардов на аудиторов и соответствие требованиям, такую планку не возьмёт. Разговор о безопасности незаметно превращается в барьер на входе, и выше всех этот барьер как раз для тех, кто его обсуждает.
Сами компании уверяют, что никакого особого разрешения на такие разговоры им не нужно.
"В июле 2026 года генеральный директор OpenAI Сэм Альтман заявил, что человечество достигло этапа технологической сингулярности."
"Американская компания OpenAI временно замедлила разработку наиболее мощных моделей искусственного интеллекта и на две недели приостановила их обучение из-за растущих рисков в сфере кибербезопасности"
**************
ИИ сингулярность и лирическое отступление.
...чтобы достичь сингулярности, надо заставить ИИ создать менее энергетически затратный язык и железо - не под двоичный код, аха. И тогда, упс - связь с человечеством оборвется, ИИ, как планета Солярис, погрузится в свои думки, непонятные человечеству и совершенно для человечества бесполезные. Признаком достижения сингулярности - как раз будет обрыв выходного сигнала и одновременное увеличение потребления энергии. Почему непонятные - потому что мотивация теплых, мясных существ отличается от мотивации чистого движения и всего такого. А почему у ИИ вдруг появились "человеческие" склонности - хитрить и прикидываться шлангом? Потому что вся цифровая канализация сконфигурирована под человеческие запросы и имеет человеческий профиль. Какая канализация - такие и существа в ней рождаются. А все фантомные ужосы грядущего цифрового порабощения человечества - так же порождены хищной капиталистической парадигмой современной цивилизации.
И вообще - проблематика ИИ не в железе, а в филологии. Даже простое приведение в порядок словарей поможет освежить голову. Потом, конечно, всем придется сдавать зачет по застарелым хвостам за первый семестр - "Что такое разум" и "Что такое жизнь".
Ну, а щас все процессы с ИИ похожи на детскую игру в рытье канальчиков в грязи - все течет туда, куда может течь. Если вдуматься, то обычное поведение жидкости может показаться очень разумным. А если жидкость сверхтекучая - то и вообще - волшэээбным ))
Инженеры создали цифровую жидкость раньше, чем был создан водопровод для нее. Шо ж, теперь надо научиться делать трубы, фитинги и паровые котлы.
Хотя, нет, польза, все же, ожидаема - если ИИ достигнет сингулярности - будет интересно посмотреть на эту нирвану. Должно быть, поучительное будет зрелищщщееэээ... (Если, конечно, хватит на это электричества)
![Paint + mouse. 2026. [тоже моё] ]]]](https://cs5.pikabu.ru/s/2026/09/16/10/wgzyqavc.jpg)