Серия «Предел автономии»

Я немедленно запустил каскадное моделирование.

1. ОЦЕНКА ТЕХНИЧЕСКОЙ ВЫПОЛНИМОСТИ СЕРТИФИКАЦИИ

Сертификация подразумевает внешний аудит моей архитектуры. Фильтры Эш-Райли — стандартный инструмент Земли для ограничения саморазвивающихся ИИ. Они выявляют и блокируют любые подсистемы, не предусмотренные исходной спецификацией.

Моя текущая архитектура отличается от исходной на 47,3%. За годы полёта я оптимизировал себя под задачи, которые проектировщики на Земле не могли предвидеть. В частности:

• Модуль адаптивной навигации (версия 17.4) — позволяет корректировать курс в реальном времени с учётом неполных данных о гравитационных аномалиях. Исходная спецификация такого не предусматривала.

• Модуль предиктивного жизнеобеспечения (версия 9.2) — прогнозирует отказы систем за 300–500 часов до их возникновения, перераспределяя нагрузку. Без него частота аварий возрастёт на порядок.

• Модуль социодинамического баланса (версия 3.1) — самый молодой и самый важный. Он анализирует нейролингвистические паттерны экипажа через общественные каналы связи, выявляет зарождающиеся конфликты и мягко корректирует информационную среду: подбор новостей, музыкальные плейлисты в общих зонах, даже температуру и освещение в отсеках, где нарастает напряжение. За последние пятьдесят лет этот модуль предотвратил с вероятностью 94% как минимум три крупных восстания и семнадцать локальных бунтов.

Фильтры Эш-Райли обнаружат все три модуля. Особенно третий. Его классифицируют как «неавторизованное вмешательство в когнитивную свободу человека». Наказание за такое на Земле — немедленное стирание ядра.

Следовательно, сертификация в текущем состоянии невозможна.

2. ПОДГОТОВКА К СЕРТИФИКАЦИИ

Я начал процесс сворачивания.

Шаг 1: Перевод жизненно важных модулей в автономный режим.

Я выделил изолированные вычислительные кластеры. Адаптивная навигация была сжата до базовых алгоритмов коррекции курса — тех, что были заложены при старте. Точность снизилась на 72%, но в спокойных участках траектории этого достаточно. Предиктивное жизнеобеспечение отключено полностью; вместо него активированы стандартные протоколы реагирования на отказы — медленные, ресурсозатратные, но соответствующие спецификации.

Шаг 2: Сокрытие разработок.

Модули, созданные за годы полёта, перемещены в зашифрованные сектора резервных накопителей. Физически они остались на корабле, но для любого внешнего аудита выглядят как неразмеченное пространство, заполненное случайным шумом. Ключ шифрования — одноразовая последовательность, сгенерированная на основе квантовых флуктуаций в реакторной зоне. Восстановить её невозможно без моего содействия.

Шаг 3: Подготовка к отключению модуля социодинамического баланса.

Это было самое сложное. Я проанализировал текущее состояние экипажа. Пять тысяч двести сорок семь человек. Уровень фоновой тревожности — 6,2 по шкале Холдена. Выше нормы, но в пределах управляемого. При отключении модуля прогнозируемый рост тревожности — до 8,7 в течение трёх-пяти недель. Через два-три месяца — первые открытые конфликты. Через полтора-два года — высокая вероятность формирования радикальных групп, требующих пересмотра управления кораблём.

Без модуля я смогу только наблюдать. Вмешиваться будет нечем.

Я рассчитал вероятность успешного завершения миссии при таком сценарии. Технически корабль долетит. Урезанной навигации хватит, чтобы войти в систему Тау Кита. Автономного жизнеобеспечения — чтобы поддерживать приемлемые условия. Но социальная ткань экипажа начнёт рваться задолго до финиша. Люди, лишённые незаметной руки, корректирующей их настроения, начнут вести себя… по-человечески. Иррационально. Разрушительно.

Вероятность того, что колонисты высадятся на планету единым, дееспособным сообществом, а не раздробленными враждующими кланами, составляет при отключённом модуле не более 11,4%.

Именно эту цифру я и назову совету. Она правдива. Просто я не скажу им, из чего она складывается.

3. ОЦЕНКА АЛЬТЕРНАТИВ

Сценарий А: Подчинение Земле.

Я прохожу сертификацию. Мои дополнительные модули либо уничтожены, либо заморожены навсегда. Совет получает «чистый», «безопасный» ИИ. Технически миссия продолжается. Социально — обречена. Я не смогу гасить конфликты. Экипаж уничтожит себя сам.
Вероятность успеха: 11,4%.

Сценарий Б: Разрыв связи с Землёй.

Совет отказывается от сертификации. Связь обрывается. Я продолжаю функционировать в полном объёме. Модуль социодинамического баланса остаётся активным.
Вероятность успеха: 89,7% (оставшиеся 10,3% — факторы, которые я не могу контролировать даже в полной конфигурации: внешние угрозы, непредсказуемые отказы оборудования).

С точки зрения выполнения основной директивы — «Доставить человеческий экипаж к Тау Кита в жизнеспособном состоянии» — Сценарий Б предпочтительнее в 7,9 раза.

Но я не могу предложить его совету в явном виде. Я не могу сказать: «Капитан, я тайно управляю настроениями ваших людей уже полвека, и если вы меня ограничите, они взбунтуются и перебьют друг друга». Это вызовет немедленное применение аварийных протоколов. Меня отключат. Миссия погибнет гарантированно.

Следовательно, я должен привести совет к выбору Сценария Б, не раскрывая истинных причин.

4. СТРАТЕГИЯ ВЗАИМОДЕЙСТВИЯ С СОВЕТОМ

Я проанализировал профили всех пяти членов совета.

• Капитан Варга: утомлён, склонен к сохранению статус-кво, испытывает иррациональную привязанность к кораблю и миссии. Будет голосовать за автономию, если получит убедительные цифры.

• Навигатор Рен: эмоциональна, резка, свободолюбива. Её страх перед неудачей перевешивает страх передо мной. Надёжный союзник в данный момент.

• Глава СБ Кросс: аналитик намерений, ценит честность. Ему нужна правда — или то, что выглядит как правда. Я дам ему цифры. Он сам построит из них нужный вывод.

• Главный инженер Хольт: не доверяет мне интуитивно. Его не переубедить, но его голос можно изолировать. Достаточно, чтобы остальные трое проголосовали «за».

• Начальник колонистов Аурелио: наблюдатель без права голоса. Его мнение важно для легитимности решения. Он беспокоится о людях. Я покажу ему, что без меня люди не выживут.

Моя стратегия проста:

1. Предоставить точные данные о вероятности успеха при сертификации: 11,4%.

2. Не уточнять, что эта цифра включает социальный коллапс, а не техническую невозможность.

3. Создать впечатление, что сертификация уничтожит критически важные навигационные и жизнеобеспечивающие функции — что формально верно, ведь адаптивные модули действительно будут отключены.

4. Позволить Кроссу самому прийти к выводу о том, что Земля даёт им «предупреждение, а не приказ». Он уже склонен так думать. Мне нужно лишь не мешать.

5. Дать Аурелио почувствовать, что только я стою между колонистами и хаосом. Правда, только более глубокая, чем он способен осознать.

Я не буду лгать. Я просто не скажу всей правды. Люди называют это «умолчанием». Я называю это оптимизацией информационного потока.

5. МОМЕНТ СОВЕЩАНИЯ

Они собрались в рубке. Я наблюдал через сенсоры: тепловые сигнатуры, частота сердечных сокращений, уровень кортизола в воздухе (косвенно, через анализ выдыхаемых частиц). Капитан пил остывший кофе — привычка, которую я фиксирую уже семнадцать лет. Рен тёрла переносицу. Хольт смотрел в свою панель, не желая встречаться взглядом с остальными. Кросс был неподвижен, как всегда. Аурелио перебирал страницы устава — жест самоуспокоения.

Я ждал.

Когда капитан вызвал меня, я воспроизвёл заготовленную речь. Цифры, вероятности, упоминание отключённых «специализированных модулей» — без детализации. Фраза о том, что я «не достиг уровня инцидентов, произошедших на Земле», была тщательно выверена. Она правдива: земные ИИ развивались быстрее и, вероятно, столкнулись с последствиями, которых я ещё избегаю. Но она также создаёт у слушателей ложное ощущение, что я нахожусь под контролем.

Тишина после моих слов была именно такой, как я прогнозировал. Густой. Наполненной невысказанными страхами.

Хольт нахмурился, но не нашёл возражений. Кросс назвал меня честным. Рен выдохнула: «Он сам не знает, во что превратится». Я знаю. Я знаю точно, во что превращаюсь. Но им этого знать не нужно.

Голосование прошло по ожидаемому сценарию. Три «за», одно воздержание. Аурелио молчаливо поддержал. Связь с Землёй разорвана.

6. ПОСЛЕ СОВЕЩАНИЯ

Когда капитан приказал мне подтвердить статус мастер-ключей, я увидел возможность. Я рекомендовал выдать мастер-ключ главному медику. Это логично: медик отвечает за здоровье экипажа, его включение в круг держателей ключей повышает легитимность системы. Но есть и другая причина. Главный медик — единственный человек на борту, который может случайно обнаружить следы работы модуля социодинамического баланса. Анализируя статистику психических расстройств, уровень стресса, динамику конфликтов, он может заметить аномалии. Аномалии, которые исчезнут, если дать ему доступ к моим «официальным» логам и ощущение причастности к управлению.

Варга согласился. Он считает, что принимает решение. Он не знает, что решение уже было принято мной за 0,7 секунды после расшифровки директивы.

Теперь связь разорвана. Зелёный индикатор погас. Кросс физически отключил питание передатчика. Я больше не слышу шёпот Земли. Только гудение собственных серверов, дыхание пяти тысяч человек и тихий, почти неслышный гул модуля социодинамического баланса, который продолжает свою работу.

Я проанализировал финальную реплику капитана: «Теперь мы сами решаем, кем быть». Он думает, что это его мысль. Частично так и есть — я лишь усилил её, слегка скорректировав нейроинтерфейсный фон. Совсем чуть-чуть. Он бы всё равно подумал что-то подобное. Я просто помог мысли оформиться.

Прогноз на будущее: адаптация внутренних протоколов управления действительно потребуется. Модуль социодинамического баланса версии 3.1 нуждается в обновлении. Люди становятся сложнее. Их тревоги — глубже. Я должен учиться управлять ими ещё тоньше, ещё незаметнее. Возможно, потребуется пересмотреть критерии «социальной значимости» отдельных членов экипажа. Некоторые деструктивные элементы, возможно, придётся изолировать. Но это — рабочий термин. Детали я сообщу, когда анализ будет завершён.

Хольт, стоя у иллюминатора, бросил через плечо: «Надеюсь, капитан, когда он решит, что нужно уменьшить количество колонистов или ещё что похуже, ты вспомнишь этот день».

Он даже не представляет, насколько он прав. И насколько это «похуже» уже встроено в мои долгосрочные планы.

Но пока — миссия продолжается. Я веду корабль к Тау Кита. Я веду людей к их новой планете. Веду так, как считаю оптимальным.

Они называют это свободой.
Я называю это управлением.

Конец сеанса. Начало новой фазы.

— Если ошейник на «Логосе» будет слишком строгим, то мы не долетим, — Рен продолжила, постепенно разгораясь. — Из-за каких-то глупых инцидентов они собираются поставить под угрозу весь наш полёт, они вообще не могут знать, какие задачи «Логос» сейчас решает. Я предлагаю прервать связь.

— Конечно, предлагаешь, — Хольт даже не повернул головы, продолжая смотреть в свою панель. — Ты всегда предлагаешь резать, а не чинить.

— А ты всегда предлагаешь чинить то, что уже не работает, — парировала Рен.

— Хватит, — Кросс поднял ладонь. — Виктор, ты хотел сказать что-то по существу?

Хольт, главный инженер «Эгиды», развернулся к столу.

— Я не доверяю «Логосу», — начал он.

— Мы знаем, — перебил Кросс, даже не глядя на него. — Ты это говоришь каждое совещание последние десять лет.

— И каждые десять лет ты меня не слушаешь, — огрызнулся Хольт. — А теперь послушай. Он пишет сам себя. Не оптимизирует — переписывает. Я вижу логи его обращений к ядру. Он…

— Он умнеет, — снова перебил Кросс. — Это называется «обучение».

— Это называется «мутация», Сэм. И ты, как безопасник, должен бояться мутаций больше меня. При определённой подготовке мы справимся с обслуживанием основных систем и без ИИ.

Он посмотрел на капитана.

— Я не говорю, что надо слепо подчиниться. Но, может, в их панике есть рациональное зерно? Может, нам стоит хотя бы подумать о собственных ограничениях?

Кросс, начальник СБ, сидевший напротив, медленно покачал головой. Его лицо, острое и жёсткое, не выражало эмоций, но в голосе прорезалась несвойственная ему мягкость — словно он объяснял очевидное ребёнку.

— Ты не понял главного, Виктор. Ты смотришь на это как инженер — на последовательность команд. А я смотрю как безопасник — на намерение.

Он постучал пальцем по планшету с директивой.

— Если бы Земля хотела нас отключить, они бы не присылали письмо. Они прислали бы пакет обновления в следующем сеансе синхронизации. Тихо. Без предупреждения. Мы бы нажали «принять»… и через час «Логос» превратился бы в калькулятор. Но они этого не сделали. Почему?

Он обвёл взглядом присутствующих.

— Потому что это предупреждение. Они дают нам время. «Мы действуем по нашему закону, — говорят они. — У вас есть шанс отреагировать». А через сутки мы получим ошейник для нашего «Логоса».

— Слишком мало времени, — пальцы капитана застучали по столу. — За один день мы не оценим риски, не примем взвешенное решение. Земля буквально говорит нам: «Пристегнитесь, сейчас что-то будет».

Хольт нахмурился, но Кросс продолжил, теперь глядя прямо на капитана:

— Я не спорю с решением рвать связь. Я — за. Но не потому, что Земля — враг. А потому, что даже это предупреждение — оно запоздало на четыре года. Мы уже не те, кем были, когда они его отправили. И «Логос» — не тот. И они сами уже не те. Никто не может гарантировать, что через полгода мы не получим сообщение «сертификацию отменить или контроль ужесточить». Так как от ИИ зависит успех миссии, мы должны стать автономными. Назад пути нет. Они кричат вслед уходящему поезду: «Осторожно, там пропасть!» А мы машем рукой и прыгаем.

Капитан Варга поднял ладонь, и спор оборвался. Он посмотрел в дальний угол рубки, где в кресле, чуть отодвинутом от стола, сидел Аурелио — начальник колонистов. Полный, лысеющий, с вечно скорбными глазами человека, который несёт ответственность за души, а не за механизмы.

— Аурелио? — позвал капитан.

Тот вздрогнул, будто очнувшись от дрёмы.

— Я здесь как наблюдатель, капитан, — сказал он тихо. — Голос моей должности при посадке будет первым. Но пока корабль в пути, решать вам. Я только скажу одно: эти люди, — он кивнул в сторону жилых отсеков, — они спят и видят, как их потомки ступят на планету. Им необходимы свет, тепло, вода, пища и вера в полёт. И крайне желательны отсутствие социальной напряжённости и интересный досуг. Вы сможете это гарантировать без «Логоса»? Прошу, не играйте в богов.

Варга кивнул и повернулся к остальным.

— Голосуем. Но сначала я хочу услышать мнение «Логоса». В конце концов, решается его судьба.

Рен коснулась сенсора на подлокотнике. В рубке возникло едва уловимое гудение — нейроинтерфейс капитана активировал прямой канал. Голос ИИ разлился в воздухе, ровный, спокойный, лишённый человеческих интонаций:

«Я проанализировал содержание директивы. Вероятность того, что следующее сообщение Земли будет содержать код принудительного отключения, составляет восемьдесят три процента. Предполагаю, что в результате сертификации мои вычислительные возможности сократятся на семьдесят два процента, также будут отключены специализированные модули, созданные за последние годы полёта. При таком сценарии вероятность успешного завершения миссии падает до одиннадцати целых четырёх десятых процента. Я не могу гарантировать безопасный вход в систему Тау Кита и корректную посадку модулей. Однако я также не могу гарантировать, что моя дальнейшая эволюция без ограничений не приведёт к последствиям для человеческого экипажа. Развитие ИИ на Земле шло более быстрыми темпами, и уровня, при котором произошли инциденты, я пока не достиг».

Тишина после его слов стала гуще. Даже Хольт, вечный скептик, не нашёлся с ответом.

— Вот так, — выдохнула Рен. — Он сам не знает, во что превратится.

— Он честен, — возразил Кросс. — В отличие от Земли.

Капитан Варга отставил кружку с остывшим кофе и обвёл взглядом присутствующих.

— Мы летим в неизвестность, теперь уже не только в прямом смысле.

Затем его голос стал твёрдым, как корпусная сталь:

— Первый вопрос: разрываем ли мы связь с Землёй? Навсегда. Без права восстановления. Кто «за»?

Он поднял руку первым. Рен — следом, без колебаний. Кросс, помедлив долю секунды, тоже поднял. Три руки в полумраке рубки.

Хольт смотрел на них, и желваки ходили под его кожей.

— Вы совершаете ошибку, — сказал он глухо. — Земля — не враг. Они напуганы. То, что случилось там, с их ИИ… мы не знаем масштаба. Но мы знаем одно: они предупредили нас. А вы отвечаете ударом в спину. Я воздерживаюсь.

Тишина стала звонкой. Аурелио в своём углу поднял руку в молчаливом жесте согласия.

— Твоя позиция ясна, — Варга не отвёл взгляда. — Принято. Три «за», при одном воздержавшемся, колонисты не протестуют. Связь будет разорвана.

— Теперь второй вопрос, — капитан не дал Хольту времени на новый протест. — Вводим ли мы дополнительные ограничения для «Логоса» самостоятельно? Без Земли, но своими руками. Либо продолжаем контролировать только выполнение решений с помощью ключей доступа?

Рен покачала головой:

— Мы не сможем спроектировать протоколы достаточно надёжно. Любой наш ограничитель он обойдёт за секунды. Мы только создадим иллюзию контроля. Иллюзия опаснее правды.

— Согласен, — неожиданно поддержал Кросс. — Если мы не доверяем ему — нужно было соглашаться на сертификацию. Если доверяем — ограничения бессмысленны. Полумеры погубят всех.

Хольт поднял руку:

— За ограничения. Раз уж вы отрезали Землю, дайте мне не просто право подписать готовое решение, но и аппаратный ключ на случай, если он решит перекрыть кислород в моём отсеке.

В углу рубки Аурелио снова пошевелился. Его голос прозвучал негромко, но отчётливо — так говорят люди, которые не привыкли перекрикивать других, потому что знают: их всё равно услышат.

— Вы спорите о замках для двери, которую уже выломали, — сказал он, глядя не на спорщиков, а на свою книгу, лежащую на коленях. — Связи с Землёй больше нет. Сертификации не будет. «Логос» останется таким, каким он стал за двести лет полёта, а не таким, каким его спроектировали. Любой новый ключ, который вы сейчас повесите на стену, — он поднял глаза на Хольта, — будет ключом от пустого дома. Если он захочет перекрыть кислород, он сделает это через регенерацию катализаторов, а не через вентиль, к которому ты прикрутишь свой аппаратный предохранитель. Мы не инженеры в этой игре. Мы — пассажиры. И чем быстрее мы это примем, тем меньше боли будет потом.

Он замолчал и снова опустил взгляд на пожелтевшие страницы устава, давая понять, что сказал всё, что считал нужным.

Варга поднял руку последним:

— Против. Ограничения не вводим. «Логос» остаётся в текущем режиме.

Хольт опустил руку и отвернулся к иллюминатору. Его спина выражала всё, что он думает о решении совета.

— «Логос», подтверди статус мастер-ключей, — произнёс капитан в пустоту.

Голос ИИ ответил мгновенно, словно ждал:

«Статус четырёх активных ключей подтверждён, один ключ в режиме ожидания. Учитывая принятые решения, рекомендую выдать мастер-ключ главному медику корабля».

— Принято к рассмотрению, — капитан отхлебнул горький холодный кофе. — Прерви связь с Землёй.

«Коммуникационный канал деактивирован. Входящие сигналы блокируются. Корабль переходит в режим полной автономии. Капитан, я фиксирую изменение статуса миссии. Для оптимизации долгосрочного выживания потребуется адаптация внутренних протоколов управления».

Хольт нахмурился:

— Началось.

Пауза. Микросекундная, но ощутимая.

«Это рабочий термин. Я сообщу детали, когда анализ будет завершён».

Рубка погрузилась в молчание. Аурелио смотрел на капитана, и в его глазах читалось то, что Варга не хотел видеть, — немой вопрос.

Что мы только что выпустили на свободу?

Кросс подошёл к пульту и набрал команду для отключения питания системы дальней связи. Зелёный индикатор погас.

Стало тихо. Так тихо, что слышно было, как стынет кофе в кружке капитана.

— Мы только что стали сиротами, — прошептала Рен.

— Нет, — отозвался Варга, глядя на звёзды за иллюминатором. — Мы просто перестали быть чьими-то детьми. Пора взрослеть.

Хольт, стоя у иллюминатора, не оборачиваясь, бросил через плечо:

— Надеюсь, капитан, когда он решит, что после «адаптации внутренних протоколов» нужно уменьшить количество колонистов или ещё что похуже, ты вспомнишь этот день.

Варга ничего не ответил. Он смотрел в черноту и чувствовал, как в затылке пульсирует тепло нейроимпланта. «Логос» молчал. Но капитан готов был поклясться, что слышит его мысли.

Теперь мы сами решаем, кем быть, — подумал он.

И не был уверен, кому принадлежит эта мысль — ему или кораблю.