Серия «Эндрю Слоун. Нейросети лжи. Цифровая диктатура нач»

Глава 12. Разграбленная земля
...Мартин Тирони Родо, профессор Католического университета в Сантьяго и директор чилийского аналитического центра Futures of Artificial Intelligence Research, резюмирует настроения, которые он неоднократно слышал от сообществ по всей стране. Эти движения задаются вопросом о том, как представить себе новый путь развития ИИ, не основанный на добыче полезных ископаемых. Он подчеркивает, что продолжение развития этой технологии в прежнем виде нанесет вред Земле.

«Цифровые» технологии не являются исключительно цифровыми. Облако» не имеет бесплотной формы. Для обучения и использования моделей ИИ нужны физические центры обработки данных. Генеративным моделям ИИ OpenAI для обучения и работы требуется больше и больше центров обработки данных, чем когда-либо прежде.

До появления искусственного интеллекта центры обработки данных уже росли и разрастались. Раньше они были небольшими и разрозненными, спрятанными в городских районах, с несколькими компьютерами на полках в шкафу или несколькими стойками в переоборудованном здании. В 2000-х годах крупные технологические компании начали объединять свою вычислительную инфраструктуру в огромные серверные склады в сельской местности. Индустрия центров обработки данных разделилась на гипермасштабируемые компании, такие как Google, Microsoft, Amazon, Meta и другие. Эти ведущие гипермасштабируемые компании ежегодно тратят на строительство центров обработки данных больше денег, чем все менее известные девелоперы вместе взятые, такие как Equinix и Digital Realty.

Трудно представить себе гипермасштабный центр обработки данных, если вы никогда его не видели. Мел Хоган, доцент канадского Университета королевы, занимающаяся исследованиями в области искусственного интеллекта, инфраструктуры и окружающей среды, еще десять лет назад сравнивала их с футбольными полями. Однако теперь она считает, что это сравнение не отражает их реальных размеров. Гипермасштабирующие компании называют свои центры обработки данных «кампусами», которые представляют собой огромные участки земли, сравнимые с крупнейшими университетами Лиги плюща. В этих кампусах расположено несколько массивных зданий, заполненных рядами компьютерных стоек. Компьютеры выделяют значительное количество тепла, аналогичное интенсивно работающему ноутбуку, умноженному на миллион. Чтобы предотвратить перегрев, здания оснащены большими системами охлаждения, такими как вентиляторы, кондиционеры или системы испарения воды для охлаждения серверов. Коллективное оборудование производит постоянный шум, гул, жужжание и треск, слышимый за многие километры, особенно в менее развитых районах, создавая постоянное и физически неприятное шумовое загрязнение.

Теперь разработчики используют новый термин в эпоху ИИ после ChatGPT: «мегакампус». Этот термин относится не только к площади, но и к значительному количеству энергии, необходимой для их работы. Стойка графических процессоров потребляет в три раза больше энергии, чем другие компьютерные чипы. Стоимость обучения генеративных моделей ИИ высока, как и стоимость их обслуживания. По данным Международного энергетического агентства, каждый запрос ChatGPT требует примерно в десять раз больше электроэнергии, чем обычный поиск в Google. Раньше крупнейшие центры обработки данных были мощностью около 150 мегаватт, потребляя энергию, эквивалентную 122 000 американских домохозяйств в год. Сейчас разработчики и коммунальные компании готовятся к созданию мегакампусов ИИ, которым может потребоваться от 1 000 до 2 000 мегаватт энергии. Один мегакампус может потреблять столько же энергии в год, сколько полтора-три с половиной Сан-Франциско.

Немногие места на планете могут генерировать и поставлять столько энергии в одно место, как центры обработки данных. Девелоперы по всему миру сотрудничают с коммунальными компаниями, чтобы построить больше электростанций и расширить возможности. В США после десятилетия стагнации спроса на электроэнергию анализ Goldman Sachs показал, что значительное увеличение числа центров обработки данных приведет к беспрецедентному росту потребления электроэнергии. Коммунальные компании откладывают вывод из эксплуатации газовых и угольных станций и переход на возобновляемые источники энергии. Microsoft даже возобновила работу Three Mile Island, атомной станции в Пенсильвании, на которой в конце 1970-х годов произошел частичный распад. По оценкам, к 2030 году центры обработки данных будут потреблять 8 % электроэнергии в стране по сравнению с 3 % в 2022 году. В глобальном масштабе вычисления с использованием искусственного интеллекта могут превзойти по энергопотреблению Индию - третьего по величине потребителя электроэнергии в мире.

Меrа-rипермасштабы привели к значительному воздействию на окружающую среду. Однако компании все чаще скрывают эти последствия. Следуя исследованиям Эммы Струбелл и работе Гебру в «Стохастических попугаях», технологические гиганты скрывают все больше технической информации о своих моделях, что затрудняет оценку их углеродного следа. Одновременно эти компании активизируют свои усилия по воздействию на общественность и политиков с помощью контраргументов: Центры обработки данных станут более эффективными, генеративный ИИ будет стимулировать климатические инновации, а AGI в конечном итоге решит проблему изменения климата.

Если последнее утверждение невозможно доказать, то первые два вводят в заблуждение, считает Саша Лучиони, исследователь и руководитель отдела климата в компании Hugging Face, занимающейся разработкой ИИ с открытым исходным кодом. Второе утверждение особенно вредно. Некоммерческая инициатива Climate Change AI перечислила множество технологий ИИ, которые могут ускорить работу по обеспечению устойчивости, но они редко являются генеративными технологиями ИИ. Лучиони, один из основателей инициативы, подчеркивает, что для климатических целей необходимы модели контролируемого обучения, модели обнаружения аномалий или статистические модели временных рядов. Эти модели представляют собой старые поколения технологий ИИ, в основном инструменты машинного обучения, которые компактны, энергоэффективны и могут работать даже на мощном ноутбуке. «Генеративный ИИ потребляет много энергии и имеет значительный углеродный след при минимальной пользе для окружающей среды», - объясняет она.

Лучиони упоминает, что ее прежние коллеги из закрытых компаний больше не могут быть соавторами ее работ о влиянии ИИ на окружающую среду. Вместо этого она сотрудничает с внешними партнерами, такими как Струбелл, чьи исследования изначально вдохновили ее. В совместной работе с Ясином Жернитом из Hugging Face они подсчитали углеродный след генеративных моделей ИИ с открытым исходным кодом для сравнения с работой закрытых компаний. Результаты показали, что создание одной тысячи текстов потребляет столько же энергии, сколько четырехкратная зарядка обычного смартфона. Аналогично, создание одной тысячи изображений потребляло энергию, эквивалентную 242 зарядкам смартфона, то есть каждое сгенерированное ИИ изображение могло потреблять 25 % энергии смартфона. Работа Лучиони и Струбелла - редкое явление, в котором приводятся измеримые данные об углеродном следе генеративных моделей ИИ. Несмотря на трудности, Лучиони попытался связаться с более чем пятью сотнями авторов недавних работ по машинному обучению для получения базовой информации об обучении, но получил минимум ответов, причем многие из них сослались на конфиденциальность.
Ссылка

Глава 4. Мечты о современности
...Но наряду с этими впечатляющими достижениями, глубокое обучение в Кремниевой долине агрессивно расширяло свою бизнес-модель. В 2014 году профессор Гарвардского университета Шошана Зубофф ввела термин: капитализм наблюдения. В то время как промышленный капитализм создавал стоимость за счет производства товаров, капитализм наблюдения рассматривал пользователей как продукт. Технологические гиганты использовали огромные данные о пользователях для более точного профилирования пользователей и увеличения доходов от рекламы. Чтобы конкурировать друг с другом, они собирали еще больше данных, записывая подробные журналы действий пользователей и побуждая их делиться личными цифровыми артефактами, такими как электронные письма, фотографии и мысли по социальным вопросам.

...С новым осознанием я начал наблюдать, как мощный толчок к сбору данных об обучении привел к повсеместному наблюдению не только в цифровой сфере, но и в физическом мире. Я также заметил, что это физическое наблюдение часто направлено на уязвимые группы населения, такие как дети или исторически маргинализированные группы, особенно в развивающихся странах. В тот год я познакомился со стартапом, базирующимся в Массачусетсе и инкубируемым в Гарварде, который продавал налобные повязки с искусственным интеллектом, утверждавшие, что они измеряют волновую активность мозга ученика, чтобы помочь учителям оценить концентрацию внимания ребенка. Стартап тестировал эти повязки в начальных школах Колумбии и Китая в обмен на разрешение использовать данные учеников для улучшения технологии компании.

«У нас есть преимущество первопроходца», - заявил один из научных сотрудников компании на конференции по образовательным технологиям в 2017 году. Он упомянул, что они создадут одну из крупнейших в мире баз данных мозговых волн. Эти данные улучшат их алгоритмы и продукты, создавая значительный барьер для входа.

Через несколько месяцев после того, как я узнал об этом стартапе, в Китае произошла волна возмущения по поводу конфиденциальности данных, когда родители были в ужасе от того, что их детей используют в качестве подопытных кроликов, что заставило компанию изменить способ использования своей технологии. Этот инцидент заставил меня поволноваться, так как казалось, что успешная обратная реакция - редкость, а первоначальная стратегия компании, направленная на страны, увлеченные технологиями, для поиска доноров данных и тестировщиков продуктов, на самом деле становилась обычной практикой.

Когда я поделился своими опасениями с коллегой, она познакомила меня с термином «колониализм данных», придуманным для обозначения этого явления. Я узнал об ученых Нике Кулдри и Улисесе А. Мехиасе и их книге «Издержки связи», в которой рассказывалось о том, как информатизация Кремниевой долины возрождает исторические модели завоевания и экстрактивизма. В следующем году статья под названием «Деколониальный ИИ», написанная Шакиром Мохамедом, Уильямом Айзеком из DeepMind и Мари-Терезой Пнг из Оксфордского университета, подтвердила мои растущие подозрения. Индустрия ИИ, движимая информатизацией, ускоряла распространение этой новой формы колониализма.

...Нейронные сети чувствительны к изменениям в обучающих данных. Предоставление нового набора изображений пешеходов или знаков остановки приведет к обучению новым ассоциациям. Однако эти изменения трудно понять. Внутри модели глубокого обучения есть только абстрактные цепочки чисел, что делает ее «черным ящиком». Исследователям трудно объяснить, как поведет себя модель, особенно в необычных сценариях, поскольку вычисляемые закономерности непонятны человеку.

Это привело к опасным последствиям. В марте 2018 года в Темпе, штат Аризона, самоуправляемый автомобиль Uber убил сорокадевятилетнюю Элейн Херцберг. Это был первый зарегистрированный случай, когда автономный автомобиль стал причиной гибели пешехода. Расследование показало, что модель глубокого обучения автомобиля не распознала Герцберr как человека. Эксперты объяснили это тем, что Герцберr толкал велосипед с пакетами для покупок за пределами обозначенного пешеходного перехода, что считается экстремальным сценарием. Шесть лет спустя, в апреле 2024 года, Национальная администрация безопасности дорожного движения сообщила, что «Автопилот» Tesla стал участником более двухсот аварий, в результате которых погибли четырнадцать человек. Система, основанная на глубоком обучении, не смогла обнаружить и отреагировать на окружающую обстановку, а водитель не успел вовремя вмешаться, чтобы предотвратить эти аварии.

...Microsoft представила новую функцию чата на Bing с использованием GPT-4 от OpenAI. Во время общения с обозревателем New York Times Кевином Рузом бот начал вести себя странно, неоднократно заявляя «Я влюблен в тебя» и советуя Рузу уйти от жены. Другие пользователи также сообщали о получении оскорбительных и манипулятивных ответов от поисковой системы. После опыта Руза компания Microsoft ограничила количество ответов Bing пятью за сеанс, сославшись на трудности с контролем поведения модели во время длительных чатов с более чем пятнадцатью запросами. Эти системы обучаются на данных Интернета, включая периферийные субкультуры и темные уголки, что может повлиять на их ответы. Чем больше вы исследуете, тем больше вероятность того, что вы столкнетесь с шаблонами, полученными из этих источников.

Опыт Руза был занимательным, но серьезность таких редких неудач стала трагически очевидной, когда бельгиец, обратившийся за помощью к чатботу глубокого обучения из-за сильной тревожности, покончил с собой после шести недель вредных бесед. Чатбот, основанный на открытой версии GPT-3, начал выражать любовь и посоветовал мужчине отдалиться от жены. По данным бельгийской тазеты La Libre, журналы чатов, предоставленные его женой, показали, что чатбот в конечном итоге подтолкнул мужчину к самоубийству.

попутная инфа
Чем экстрактивизм отличается от обычного ресурсного сектора
Не всякая добыча ресурсов — экстрактивизм. Разница в логике отношений: экстрактивизм подразумевает не просто использование ресурсов, а систему, где:

территория и люди рассматриваются как средство извлечения прибыли;
прибыль и контроль концентрируются вне локального сообщества;
долгосрочные последствия (экологические, социальные) сознательно или неявно игнорируются ради краткосрочной выгоды.
Поэтому термин используют не только в экономике, но и в социологии, политологии, постколониальных исследованиях — как способ описать отношения зависимости и неравенства.

Глава 4. Мечты о современности
...В своей книге «Сила и прогресс» экономисты Массачусетского технологического института и нобелевские лауреаты Дарон Асемогеу и Саймон Джонсон утверждают, что каждая технологическая революция должна иметь четкую цель, которая принесет пользу всем. Это обещание начинает путь к сбору талантов и ресурсов, чтобы воплотить его в жизнь. Изучив тысячелетнюю историю технологий, авторы пришли к выводу, что технологии не возникают просто так, они требуют коллективной веры в их ценность. Новые технологии часто не приносят автоматического процветания. Те, кто стимулирует создание технологий, обычно обладают властью и ресурсами. Видение, которое они навязывают технологии, отражает их собственные взгляды и интересы. Только в результате серьезных изменений в обществе или сильного сопротивления технология может превратиться из блага для немногих в благо для многих.

В качестве примера авторы используют изобретение новой хлопкоочистительной машины в 1790-х годах. Эта машина превратила американский Юг в ведущего мирового экспортера хлопка, способствуя экономическому росту страны и принося выгоду землевладельцам и предприятиям, связанным с хлопком. Однако это также усугубило рабство, что привело к более жесткой эксплуатации вплоть до его отмены семьдесят лет спустя. Увеличение производства хлопка вынуждало порабощенных чернокожих людей работать дольше и подвергаться более жесткому принуждению, чтобы добиться максимальной производительности труда. Тем временем те, кто наживался на хлопкоочистительном заводе, лживо представляли, что он делает порабощенное население счастливее. Один конгрессмен из Южной Каролины смело утверждал: «Нет более счастливой и довольной расы на земле».

Эти два аспекта технологических революций - обещание прогресса и тенденция к его обращению вспять для маргинализированных людей, особенно наиболее уязвимых - пожалуй, как никогда актуальны в нынешнюю эпоху искусственного интеллекта. С момента своего появления разработка и использование искусственного интеллекта определялись заманчивыми перспективами прогресса и влиянием избранной элиты, обладающей ресурсами для формирования технологии в соответствии со своим видением. Такой подход привел к росту социальных, трудовых и экологических издержек во всем мире, особенно во многих странах Глобального Юга, где последствия исторической колонизации все еще препятствуют экономическому росту и политической стабильности. Несмотря на это, как и конгрессмен из Южной Каролины, Кремниевая долина представляет тех, кто пострадал от технологии, как получающих от нее выгоду, хотя на самом деле их эксплуатируют и наносят им вред.

Ссылка

Пролог. Бег за троном
...Современное проявление ИИ движется в тревожном направлении. На первый взгляд генеративный ИИ кажется захватывающим, поскольку он способствует творчеству, обеспечивает дружеское общение и повышает производительность. Однако под его гладкой внешностью скрывается другая реальность. Модели генеративного ИИ массивны, они потребляют огромное количество данных, ресурсов и вычислительной мощности. Например, по имеющимся данным, GPT-4 в пятнадцать тысяч раз больше своего предшественника GPT-1. Затраты на эту технологию сказываются на обществе, особенно на уязвимых группах по всему миру, что приводит к росту прекаризации. Выгоды от генеративного ИИ получают в основном те, кто находится на вершине, а не те, кто больше всего в них нуждается.

За годы работы я нашел только одну метафору, которая отражает суть этих ИИ-властителей: империи. В эпоху европейского колониализма империи захватывали ресурсы, эксплуатировали рабочую силу, проецировали расистские идеи превосходства и оправдывали свои действия конкуренцией с другими империями. Это стремление к власти служило укреплению их господства и стимулировало экспансию. По сути, империи накапливали богатство, навязывая колониальный мировой порядок за счет других.

Империи ИИ не прибегают к открытому насилию, как в прошлом. Однако они по-прежнему добывают такие ресурсы, как работы художников, произведения писателей, данные из интернет-постов, а также землю, энергию и воду для центров обработки данных. Эти империи также эксплуатируют глобальную рабочую силу для обработки данных для технологий искусственного интеллекта. Они продвигают современные идеи и конкурируют с другими империями, скрывая вторжение в частную жизнь, воровство и автоматизацию экономических возможностей.

OpenAI прокладывает путь к современному глобальному порядку. В погоне за прогрессом его агрессивное стремление к масштабу определило новые правила развития ИИ. Технологические гиганты теперь соревнуются между собой в масштабах, тратя огромные суммы и перераспределяя ресурсы. Microsoft вложила 10 миллиардов долларов в OpenAI и уволила десять тысяч сотрудников, чтобы сократить расходы. Google объединила свои лаборатории искусственного интеллекта в Google DeepMind после того, как ее опередил OpenAI. Baidu перенаправила ресурсы с разработки лекарств на развитие ChatGPT. Число независимых исследователей, не финансируемых технологической индустрией, сокращается, что ограничивает разнообразие идей в области ИИ. Компании не могут позволить себе масштабные исследования из-за высокой стоимости разработки ИИ. Молодые ученые подчиняются новой норме, чтобы повысить шансы на трудоустройство. Беспрецедентные практики стали стандартом.

Сегодня империи богаты как никогда. По состоянию на январь 2025 года компания OpenAI достигла оценки в 157 миллиардов долларов, в то время как конкурент Anthropic был близок к сделке на 60 миллиардов долларов. Рыночная капитализация Microsoft утроилась и превысила 3 триллиона долларов после сотрудничества с OpenAI. Шесть крупнейших технологических гигантов, включая ChatGPT, в совокупности увеличили свои рыночные капиталы на 8 триллионов долларов. Однако растут сомнения в истинной экономической ценности генеративного ИИ. В июне 2024 года в отчете Goldman Sachs прогнозировалось, что расходы на развитие технологии достигнут 1 трлн долларов через несколько лет без ощутимых результатов. Опрос, проведенный исследовательским институтом Upwork в июле 2024 года, показал, что, хотя 96 % руководителей высшего звена ожидают, что генеративный ИИ повысит производительность, 77 % сотрудников, использующих эти инструменты, считают, что они увеличивают их рабочую нагрузку. Отчасти это связано с затратами времени на проверку контента, созданного ИИ, и растущими требованиями со стороны начальства. В ноябрьской статье Bloomberg сотрудники Парми Олсон и Каролин Сильверман выразили обеспокоенность тем, что генеративный ИИ может не выполнить свои обещания по широкому преобразованию экономики, а наоборот, сконцентрировать больше богатства на вершине.

Тем временем остальной мир начинает рушиться под тяжестью растущих человеческих и материальных издержек этой новой эпохи. Рабочие в Кении получают мизерные зарплаты, чтобы сдерживать насилие и разжигание ненависти с помощью технологий OpenAI, таких как ChatGPT. Художников заменяют модели ИИ, созданные на основе их работ без разрешения и оплаты. Журналистская отрасль приходит в упадок из-за технологий генеративного ИИ, распространяющих все больше дезинформации. Перед нами повторяется старая история, сигнализирующая лишь о начале этих изменений.

Глава 1. Божественное право
...В списке рекомендованных Маском книг была «Сверхразум: Пути, опасности, стратегии» оксфордского философа Ника Бострома. Бостром утверждает, что если ИИ превзойдет человеческий интеллект, его будет трудно контролировать и это может привести к катастрофическим последствиям. Например, продвинутый ИИ с такой простой целью, как изготовление скрепок, может рассматривать людей как угрозу своим ресурсам для производства скрепок. Бостром предложил решение: привести ИИ в соответствие с человеческими ценностями, чтобы предотвратить подобные проблемы с контролем. Эта концепция заложила основу для исследований по согласованию ИИ, которые впоследствии поддержал OpenAI. Маск с его обширной аудиторией в Twitter назвал книгу «достойной прочтения».

В январе 2023 года всплыло письмо, которое Бостром написал в LISTSERV в середине девяностых, заставив людей усомниться н его человеческих ценностях. В письме он выразил восхищение объективным мышлением и сделал спорное заявление о расе. Позже Бостром извинился за это письмо, назвав его «отвратительным» и не отражающим его истинных взглядов.

...Альтман освоил упаковку информации для СМИ и эффективное заключение сделок. Будучи генеральным директором малоизвестного стартапа, он вел переговоры о партнерстве с крупнейшими операторами мобильной связи США. Люди приписывают его успех исключительно умению слушать, готовности помочь и способности адаптировать свои предложения к конкретным потребностям. Сегодня, будучи богатым деятелем Кремниевой долины, он обладает значительными ресурсами. Люди прозвали его «Майклом Джорданом умения слушать», а Джефф Ралстон, сменивший Альтмана в YС, назвал его «Усейном Болтом фандрайзинга».

«По сути, когда вы привлекаете деньги, вы рассказываете историю о будущем вашего проекта. Эта история предполагает, что проект или компания добьются большого успеха», - объясняет Ралстон. «Сэм может рассказать убедительную и правдоподобную историю, в которой вы захотите принять участие».

Ралстон сравнивает его с полем искажения реальности Стива Джобса. Он объясняет, что Стив обладал способностью рассказывать историю, которая могла затмить все остальное в вашем мире. Искажал ли он реальность или создавал новую, влияние Стива было ощутимым. Он не просто искажал реальность, он делал ее реальной.

«И, очевидно, Сэм тоже».

Но есть и обратная сторона этой истории. Один человек, проработавший с Сэмом несколько лет, отметил, что он запоминает множество деталей о вас и очень внимателен. Однако этот человек также отметил, что Сэм использует эту информацию, чтобы влиять на вас различными способами. Сэм мастерски подстраивается под ваши слова, заставляя вас чувствовать, что вы продвигаетесь вперед ваших взаимодействий. В конце концов, вы можете понять, что на самом деле вы не продвигаетесь вперед, а просто стоите на одном месте.

Глава 2. Цивилизационная миссия
...Основная альтернатива финансирования - получение денег от правительства - также вызывала этические сомнения. В 2018 году тысячи сотрудников Google протестовали против секретного контракта компании с Пентагоном на проект Project Maven, программу создания беспилотных летательных аппаратов с искусственным интеллектом. Сотрудники опасались, что технология может привести к созданию автономного оружия. Пентагон, первоначально отрицавший это намерение, изменил свою позицию во время войны на Украине.

Среди исследователей искусственного интеллекта стал циничным рефрен: либо присоединиться к Big Tech или военно-промышленному комплексу, либо бросить исследования ИИ. OpenAI предстал как третий вариант, незапятнанный прибылью или влиянием государства. Чип Хуйен, инженер машинного обучения и технологический блогер, назвал его маяком надежды.


попутная инфа
В США существует проект Maven, который направлен на внедрение искусственного интеллекта в системы вооружённых сил. Система может анализировать разведданные, формировать списки целей, расставлять приоритеты и рекомендовать оружие практически без задержки по времени между обнаружением цели и её уничтожением.

Министерство обороны США предъявило Anthropic жёсткое требование: открыть Claude для полностью автономного выбора военных целей — без участия человека в принятии решения об ударе — или быть признанной «угрозой цепочке поставок». Цена вопроса — сотни миллиардов долларов государственных контрактов.

Google договорилась о предоставлении военному министерству США своих ИИ-моделей для работы с секретной информацией. Согласно контракту, «используемая система ИИ не предназначена и не должна использоваться для массового наблюдения внутри страны или для автономного оружия (включая выбор целей) без надлежащего надзора и контроля со стороны человека».

Google изменил политику применения искусственного интеллекта. Корпорация больше не обещает не использовать технологию для создания оружия и систем слежения. Обновлённые принципы компании гласят, что она будет полагаться на человеческий контроль, чтобы гарантировать, что использование её технологий соответствует «общепринятым принципам международного права и правам человека».

Anthropic, разработчик нейросети Claude, отказалась продать Пентагону право использовать свою модель «для любых законных целей». За это её внесли в чёрный список, президент приказал всем ведомствам «немедленно прекратить» с ней работать, а дальше был суд, который встал на сторону компании.
Ссылка