Серия «Критическое мышление»

Всегда соблазнительно поискать закономерность в прошлых данных и положить её в основу своего анализа. Но мы знаем, что даже в случайных данных могут найтись упорядоченные фрагменты. Кто ищет, тот всегда найдёт. В январе 1983 года Лос Анджелес Таймс сообщила о предикторе фондового рынка на основе результатов Супербоула. Они подметили, что акции идут вверх в том случае, когда команда-победитель происходит из NFC или перешла из NFL в AFC. Иначе они валились вниз. Это соблюдалось в течение добрых полутора десятков розыгрышей. Конечно, курсы акции не имеют ничего общего с американским футболом. Прошло время, и несовпадения стали накапливаться, так что никто сегодня не принимает эту теорию всерьёз. Но и позднее нашлись исследователи, которые стали паразитировать на этом совпадении, выводя уже результат финала из биржевых курсов.

Бестолковых биржевых стратегий всегда хватало. Взять хотя бы Глупую четвёрку компании Motley Fool. Эти ребята предлагали посчитать дивиденды ведущих компаний, после чего выбрать десятку лучших, а потом вычёркивать из этой десятки половину самых дорогих, потом самую дешёвую, после чего распределить вложения между оставшимися. Логики в всех этих шагах мало, а чего много – это подгонки данных. Они явно копались в статистике в поиске подтверждения. Неудивительно, что когда двое профессоров решили проверить стратегию на более старой статистике, она не сработала. Она даже не сработала на той статистике, на которой была построена, стоило лишь взять в качестве базы не январские, а июльские данные. «Глупую четвёрку» со временем переименовали в UV4, а затем и вовсе перестали рекомендовать. Закономерный финал.

Прошёлся наш автор и по техническому анализу, который, в отличие от фундаментального, не смотрит на прибыли, процентные ставки и прочие скучные вещи, а лишь на настроения инвесторов. Суть его заключается в идентификации паттернов (профилей) в колебаниях курсов акций с тем, чтобы предсказать будущее. Было выдумано множество красивых терминов для описания этих профилей: уровень поддержки, уровень сопротивления, двойное дно и тому подобное. Несмотря на всю эту мишуру, одно исследование за другим констатировали бесполезность этого занятия для всех, кроме самих аналитиков. Один учёных отправил сгенерированные путём бросания монеты графики на анализ, и технический аналитик бодро спрогнозировал по ним будущее. Предсказать грядущие орла и решку – да за это Нобеля надо давать!

Есть даже специалисты, которые продают советы о том, как выиграть в лотерею. Автор не зря назвал государственные лотереи налогом на глупость. Если кто-то верит подобным «аналитикам», которые советуют смотреть на выпавшие в прошлых тиражах номера, обращают внимание на кучность ставки и даже советуют попросить купить лотерейный билет кого-нибудь по имени Джозеф (потому что Джозефы чаще выигрывают), то тот окажется сам виноват. Я готов присоединиться к словам автора: если бы и существовала какая-нибудь работающая система, то советчики эти разбогатели бы не на её продаже, а на её применении. Ведь лотерея – непредсказуемая вещь, если она честно проведена, конечно. В ней могут случаться такие чудеса, как выпадения одних и тех же номеров два тиража подряд, что случилось в сентябре 2009 года в Болгарии.

Рыночные стратеги довольно часто выдают не сказать, чтобы абсурдные, но явно непродуманные идеи. Основаны они бывают на тех же диаграммах прошлых лет. Например, одна из стратегий на рынке драгоценных металлов была завязана на соотношение цены золота и серебра. В восьмидесятых годах фирма Hume писала, что это соотношение хоть и прыгало вверх-вниз, но всегда возвращалось в диапазон между 34 и 38. Так что имеет смысл вложиться в недооцененный на данный момент актив. Они были правы, если посмотреть график этого соотношения за полтора десятка лет до того. Но какого-то объяснения этому факту не предоставляли. А это значит, что и гарантии того, что так будет дальше, тоже быть не могло. Прошли годы, и график ушёл далеко вверх за 38, а те, кто поверил юмам и вложился тогда в серебро, оказались вынуждены ждать десятилетиями, пока курс соизволит снова припасть.

Подобным образом мыслят так называемые квантовые трейдеры или количественные аналитики. Они тоже не смотрят на фундаментальные данные, а обращают внимание только на прошлый курс. Эти парни используют внушительный математический аппарат, призванный вычислить «корректную» цену актива. Однако нет никакой гарантии, что завтра будет так, как вчера! Одним из современных веяний в этой области является статистический арбитраж. В нём тоже хватает математики, но опасность остаётся той же: хрупкое эмпирическое и теоретическое основание.

Помимо золота и серебра, биржевые ставки делаются также на пары других товаров, предполагая некое «нормальное» соотношение между их ценами. Современные стратегии конвергентной торговли могут использовать сложные профили в своих моделях. Но фундаментальная проблема остаётся той же: данные без теории – плохое основание для стратегии. Однако некоторые постоянные соотношения имеют под собой логическую базу. Они, как правило, имеют основанием себестоимость товара. Можно вспомнить сельскохозяйственные культуры, конкурирующие за площадь. В процессе севооборота фермер может дать больше места под кукурузу или сою в зависимости от текущих цен на продукты, удобрения и топливо, но в долгосрочном плане соотношение между ценой кукурузы и сои остаётся примерно на одном уровне десятилетиями. И это логично, в отличие от пары золото-серебро.

Заниматься арбитражем, то есть играть на разности цен, чаще всего надёжно и скучно. Но это занятие сродни подбиранию мелочи перед идущим бульдозером. Автор вспоминает в этой связи крах LTCM, которой управляли профессора математики, нобелевские лауреаты. Дело было верное: они жили на небольшой разнице между ценами облигаций разных сроков погашения. Пусть обе ценные бумаги приносят тот же номинальный процент, но одна гасится раньше другой и хоть немножко, но дешевле той, которая вышла позже. Так и они покупали более старые бумаги, продавая более новые, и ждали, пока проценты по ним сойдутся. Конечно, чтобы хорошо заработать на этой копеечной прибыли, нужно сильно нарастить объёмы и долговое плечо, что они и делали. Дело было верное, денежки текли. Пока не наступил российский дефолт 1998 года, когда дела на рынках пошли не так, как обычно: исторически несвязанные вложения неожиданно оказались связаны. Бульдозер пошёл на ускорение и раздавил сборщика мелочи после того, как масса их подражателей стала скидывать активы и разницы между ценами стали расти, вместо того, чтобы сходиться. Да, со временем всё обратно устаканилось, но, как говорил Кейнс:

Рынки могут оставаться иррациональными дольше, чем вы можете оставаться платёжеспособными.

После краха LTCM основатель компании Джон Мэриуезер  с партнёрами продолжили заниматься, по сути, тем же самым. Большинство новых фирмочек схлопнулось в кризис 2007-8 годов. Но ничего. Мэриуэзер оперативно основал новый фонд.

Отсюда мораль: полезно смотреть на то, что было раньше, но далеко не факт, что прошлое повторится. Смотрите не только на цифры, а думайте о причинах.

Мы видели, что бывает, когда данные анализируют без теории. А так насчёт теории без данных? Их у нас тоже хватает, и подобных теоретиков часто уважают. Например, авторов доклада Пределы роста, членов так называемого Римского клуба.

Этот доклад был страшилкой, написанной после расчёта модели развития мира в долгосрочной перспективе (World3). Они пришли к выводу, что уровню жизни, достигнутому в 1971 году, суждено остаться максимумом. Большего наша планета не вывезет. Однако ни одно из их уравнений не основывалось на экономических моделях роста и уж тем более на исторических данных. Они были очень сложными, эти уравнения, но основная идея апокалиптических прогнозов Форрестера и Медоуз была проста: рост по закону сложного процента очень скоро приведёт к исчерпанию ресурсов.

И, конечно, они предложили решение. Взять и снизить предложение продовольствия на 20%, чтобы народ перестал размножаться перед угрозой голода. Я не шучу!

Пророков апокалипсиса всегда хватало. Современную эру открыл Томас Роберт Мальтус своим эссе 1798 года, в котором писал, что необходимо решать проблему недостатка питания из-за неизбежного перенаселения планеты. Он предлагал снижать рождаемость путём воздержания, государственного контроля, абортов и проституции. Прошло две сотни лет, и мы можем сегодня констатировать, что его теория не подтвердилась. Так и сегодня Форрестер и Медоуз наваяли модель, которая кидает все природные ресурсы в одну кучу, тогда как ресурсы бывают разные, и степень наличия тоже у всех разная, а человек – весьма изобретательное существо. Оно способно компенсировать недостаток одного ресурса ростом эксплуатации другого. Мы не знаем сегодня, чем сможем заменить нефть или газ, но знаем, что что-то придумаем.

Я бы на месте автора поостерёгся утверждать, что спорт не влияет на акции. Он явно влияет на настроение зрителей, а зрители, случается, торгуют акциями. То есть влияние на самом деле есть, и когда любимая команда проигрывает, это отрицательно сказывается на биржевых сделках. Об этом рассказывал Алекс Эдманс в своей книжке. Он сделал это темой своей диссертации. Но, к чести нашего автора, следует заметить, что у Алекса была теория. А вот у тех, кто выводил рост акций из принадлежности победителя Супербоул, его не было. Алекс правильно написал тогда: главное – это сильная логичная гипотеза.

Что же касается Мэриуэзера, стоит заметить, что после второго перезапуска дела у него всё-таки не задались. Те инвесторы, кого он уже дважды подвёл, в третий раз усвоили, наконец, урок, и денег ему уже не дали. На ошибках учатся, а кто не учится – тот банкрот.

Ну а страшилками Римского клуба нас пугали ещё в восьмидесятых. Хорошо, когда мрачные прогнозы не сбываются, но плохо, когда они просто оказываются отсрочены. Фактом является то, что углеродных источников энергии больше не становится, добыча их уже относительно давно прошла пик, и мы являемся свидетелями нефтяных войн. Так что со временем можем увидеть эмпирическое подтверждение моделей Римского клуба. Если не случится чего-то неожиданного. А оно может случиться, особенно в наше турбулентное время.

Гари написал хорошую книжку. Радует то, что таких книжек становится всё больше. Но тревожит то, что их читает далеко не всякий. Гораздо популярнее литература о пришельцах, попаданцах и паранормальных мирах. Человеку милей фантазия, чем голые факты. Увы, с этим приходится жить.

В мире хватает гуру, продающих свои прогнозы на, скажем, биржевые курсы. Оставим в стороне вопрос, почему они сами не спекулируют, а советуют заниматься этим другим людям. Но спросим себя, насколько успешны бывают их прогнозы, если дела идут нетипичным образом. Они бодро предсказывали дно в октябре 1987 года, а потом случился Чёрный понедельник, когда Доу Джонс рухнул на 23% за день. За ним последовал Ужасный вторник, когда фондовый рынок оказался на грани коллапса. Кончилось тем, что ФРС пришлось вмешаться, снизив процентную ставку и предоставив ликвидность для тушения пожара на рынках. Комиссия, которая впоследствии разбиралась с этим событием, рекомендовала создать специальный регулирующий орган, а также унификацию и синхронизацию ведущих финансовых площадок.

Итак, с этим отклонением разобрались, его учли. Однако бывает и так, что неудобные данные просто выбрасывают из анализа. В восьмидесятых годах прошлого века обнаружилось, что программное обеспечение по анализу измерения уровня озона над Антарктикой не учло большое количество очень низких показаний, поскольку они не сходились с тем, что было измерено десятилетием ранее. Повторный анализ с учётом всех данных позволил установить наличие зловещей дыры в озоновом слое, которая образовалась в течении нескольких лет, так что в период с 1979 по 1985 год его толщина уменьшилась на 40%.

Ещё одним трагическим примером игнорирования не укладывающихся в привычный шаблон данных может послужить неучёт отказов кольцевых уплотнителей в конструкции ускорителей космических челноков НАСА, что привело к катастрофе Челленджера 1986 года. Никто не ожидал, что они потеряют свою гибкость при низкой температуре. Потом уже знаменитый физик Ричард Фейнман продемонстрировал этот факт во время трансляции разбирательств, окуная уплотнитель в холодную воду.

Многие слышали, что на Востоке не любят число 4 по причине созвучности его слову «смерть» в ряде восточных языков. Нашлись учёные, которые стали утверждать, что по четвёртым числам каждого месяца у американцев японского и китайского происхождения чаще случается инфаркт. Если взять статистику этого «баскервилльского исследования», то такой зависимости не обнаружится. Как же они пришли к этому выводу? А очень просто – они брали в рассмотрение только лишь некоторые сердечно-сосудистые заболевания. Если учесть все их виды, зависимость пропадает. Следует заметить, что ведущий автор делал «по уму» в двух других своих трудах и взял совсем другую методику в третьем. Рецепт борьбы с подобным недобросовестным обращением с данными прост: берём и воспроизводим исследование с данными за пределами авторского диапазона с 1989 по 1998 годы. Что и сделал наш автор. Он не обнаружил роста числа инфарктов в окрестности четвёртого числа ни с данными, собранными до 1988 года, ни после 1999 года.

Можно понять, зачем авторы избавляются от данных, не подходящих под их теорию. Часто мы даже вообще не узнаём об этом. Каждый хочет публиковаться и нуждается в значимой статистике. И каждый искренне верит в истинность своей теории. А из этого следует, что противоречащие свидетельства можно бы и проигнорировать.

В 1881 году у Джима Хогга родилась дочь, которую он назвал в честь героини написанной его братом поэмы Аймой. Ima Hogg звучит не самым приятным образом для обладательницы этого имени (i am a hog – я свинья...). Но дочь губернатора Техаса, разбогатевшего на нефти, нельзя было назвать несчастливой. Её называли Первой леди Техаса, и не зря.

А как насчёт счастливых (и несчастливых) инициалов? Нашлись социологи, которые решили прояснить и этот вопрос. Они пришли к выводу, что люди с позитивными инициалами (ACE, VIP…) живут в среднем дольше, чем с негативными (PIG, DIE…). В своё сравнение они взяли 12 позитивных и 19 негативных инициалов. Почему не поровну и почему не круглые числа? Вполне возможно, что иначе статистика бы не сошлась с их теорией. Правда, о теории здесь говорить трудно, поскольку научного объяснения обнаруженной ими взаимосвязи не имеется. И здесь наш Гари решил воспроизвести исследование. Он обнаружил, что если сравнивать по годам рождения, то взаимосвязь пропадает. Также не удалось её обнаружить при включении в сравнение данных за всё столетие. В заключение главы автор советует:

Однако лучшее правило для исследователей: если сомневаетесь, не опускайте ненужное. Лучшее правило для читателей: с осторожностью относитесь к исследованиям, в которых данные отбрасываются.

Подозрения должны возникать при виде теории, в которую с самого начала трудно поверить. Когда есть в наличии большой массив данных для анализа, может возникнуть соблазн нарыть в нём что-то интересное. Эрнест Абель и Майкл Кругер из Университета Уэйна стали утверждать, что если у человека непопулярное имя, то этот негатив скажется на его продолжительности жизни. А кто-то нашёл, что у студентов, чья фамилия начинается на C или D, в среднем хуже успеваемость. По-видимому, воодушевясь этой находкой, Абель и Кругер сообщили о том, что бейсболисты, чьё имя начинается с D, умираютв среднем на 1,7 года раньше, чем те, чьё имя начинается с последующих букв алфавита.

Среди букв у нас явно есть более и менее предпочтительные. Когда-то компания Пепси запустила тест: они налили свой напиток в стакан с буквой М на нём, а кока-колу – в стакан с буквой Q, и давали людям выпить, а потом оценить, чей вкус лучше. Пепси победил, о чём они незамедлительно раструбили. Но потом свой тест провела Кока-кола, которая поменяла содержимое стаканов местами. И снова победил стакан М, теперь уже с кока-колой.

Может быть, и Абель с Кругером нашли что-то серьёзное? Увы, если ознакомиться с их методикой, сразу закрадываются сомнения. Если имя двойное, они брали лишь самую первую букву. Фамилию они тоже не учитывали. Ну а год рождения для своей выборки они взяли из диапазона между 1875 и 1930 годами. Почему так? Наверное потому, что без этих искусственных ограничений им не удалось бы найти статистически значимую разницу. На букве D эти парни не остановились, и выпустили исследование о зависимости числа самоубийств в бейсбольной лиге от месяца рождения самоубийцы. Они обнаружили пик в августе. Однако после исправления ошибок в их анализе разница по месяцам теряла статистическую значимость. Конечно: если взять троих июльских самоубийц и записать в август, цифры станут красивей. Подтвердилась простая логика, вернее её отсутствие: теоретического обоснования падения числа самоубийств в июле и сентябре на фоне августовского пика не существует.

Как видим, при наличии достаточно большого массива данных, в них всегда можно нарыть что-то интересное. Но и в маленьких массивах тоже есть шанс для харкинга или подгонки данных, когда небольшое количество наблюдений объясняют большим количеством объясняющих переменных. Если мы предсказываем Y через X  и имеем всего лишь два наблюдения, мы можем просто начертить прямую через эти две точки и получим идеальное предсказание. Часто этим приёмом, который называется переобучение, пользуются для предсказания результатов выборов.

Так, Алан Лихтманн построил модель, которая корректно предсказала победителя народного голосования в каждых президентских выборах в США, начиная с 1984 года. Впечатление об этом достижении поблекнет, если узнать, что в своей модели он использовал аж 13 ответов на вопросы в качесте объясняющих переменных. Да и методы его тоже были сомнительными. Народное голосование 2016 года Трамп проиграл, а Лихтманн пророчил ему победу. Да, он предсказал победу Байдена в 2020 году, но и тогда не обошлось без мухлежа: на вопрос «имеет ли претендент харизму» он ответил «нет», в то время, как мало кто откажет в ней Трампу.

Политолог Гельмут Норпот давал Трампу 91-95% шанс на победу в выборах 2020 года, несмотря на результаты опросов. У него было всего три переменных, но он крутил ими, как хотел. Например, результаты праймериз он брал с президентских выборов, вплоть до 1952 года, потом переключился на Нью-Гемпшир, а начиная с 2008 года присовокупил ещё и Южную Каролину. Подгон данных? Нет, не слышали. Проигрыш Трампа в 2020 году Норпот списал на «идеальный шторм» текущих событий, будь то пандемия ковида, BLM или экономический кризис.

В 2024 году модель Норпота пророчила победу Камале Харрис с вероятностью в 75%. Я не читал, что написал там Норпот в своё оправдание после того, как снова не угадал. Можете сделать это сами. Наверняка, он придумал что-то правдоподобное.

Три известных американских психолога занялись в своё время этим феноменом в баскетболе, и не смогли подтвердить его. Однако их вывод противоречил не только представлениям игроков и болельщиков, но и свидетельствам из других видов спорта. Взять, хотя бы, Крейга Ходжеса, который попал в 1991 году 21 раз из 25 из-за шестиметровой линии, причём из них 19 раз было подряд. Автор рассчитал вероятность того, что кто-то сможет повторить его достижение, и получил всего лишь 0,59%. Это говорит нам о горячей руке Ходжеса.

И он не одинок в своих достижениях. Сабрина Ионеску, Стефен Карри тоже добились выдающихся результатов, не подпадающих под случай. Он обратился к другим видам спорта, и нашёл Уолтера Рея Уильямса младшего, который метал подковы и катал в боулинг. Этот парень делал это замечательно, но главное – он вёл статистику своих и чужих бросков, с которой было позволено ознакомиться и нашему Гари Смиту. Из неё было ясно видно, что удачный бросок приводит к следующему удачному с вероятностью в 54,5%, тогда как после неудачного броска удачный случается лишь в 50,1% случаев. Похожую ситуацию можно наблюдать и в керлинге. Если кто-то сделал 12 страйков подряд, то это называется идеальным геймом. Что, как не «горячая рука»? В сезоне 2002-3 годов случилось 19 идеальных геймов, и это вдвое выше того, что могло случаться, если бы горячая рука была мифом.

Имея дело лишь с баскетболом, можно что-то списать на осложняющие факторы. Например, там спортсмен бросает с разных позиций на поле, да ещё в разных игровых ситуациях. Но метание подков и боулинг лишены этих факторов, и всё равно там можно увидеть «горячую руку».

Любое личное достижение, будь то в спорте или где-нибудь ещё, зависит от конкретных способностей игрока, уровень которых можно оценить, рассчитав среднее от большого количества тестов. При этом важно то, что мерило успеха является несовершенным. Каждая игра, каждый экзамен, каждый выход на арену даст свой результат, и этот результат не будет одним и тем же. Теперь вопрос: если результат чьего-нибудь теста окажется выдающимся, то какой вывод о способностях участника можно будет из этого сделать? О том, что его способности тоже выдающиеся? Может быть. Но более вероятно то, что ему просто повезло в этом тесте. Потому как на каждого выдающегося участника приходится гораздо больше средних, которым может просто повезти. Этот статистический феномен называется регрессией к среднему. Её не следует путать с заблуждением закона среднего, частным случаем которого является ошибка игрока.

Регрессию к среднему можно найти в результатах разных видов спорта, например в гольфе. Там чемпионы часто бывают разными, что говорит о примерно одинаковом уровне топ-спортсменов, так что как правило побеждает тот, кому в данный случай повезёт. Работает парадокс удачи и умения: мастер почти наверняка выиграет у среднего игрока, но результат встречи двух мастеров предсказать трудно. Это касается и команд тоже.

В любой момент времени игроки и команды, которые показывают исключительно хорошие результаты, скорее всего, испытывают больше удачи, чем неудачи, и их успех, вероятно, сойдёт на нет, когда удача закончится — а это неизбежно произойдёт.

Автор иллюстрирует парадокс удачи и умения результатами бейсбольной лиги, где во время игр плей-офф команда из нижней части таблицы вполне может выбросить фаворита.

Регрессию к среднему наблюдают и в бизнесе, но некоторые могут прийти к неверному выводу, как профессор Секрист, который долгие годы собирал статистику в поисках рецепта успеха, чтобы в итоге сделать вывод  о том, что конкурентное давление делает из таланта посредственность. Почти все ведущие статистики согласились с ним, кроме Гарольда Хотеллинга, который продемонстрировал, что профессор потратил десять лет труда зря. И у самых успешных компаний, и у неудачников случаются пики и упадки производительности. Поэтому, если взять долгий срок, производительность и у тех, и у других, будет ближе к средней по отрасли. Но в те годы, где они ближе к середине, их место на краях шкалы займут другие компании, которым повезёт (или не повезёт). Эти приливы и отливы не означают, что все компании скоро станут посредственными. С тех пор, как Хотеллинг вскрыл эту ошибку, прошло уже много лет, но её совершают снова и снова даже именитые учёные и журналисты.

Регрессия к среднему может предсказать, что компания, которую недавно взяли в список для расчёта биржевого индекса Доу Джонс, на первых порах не должна блистать успехами по причине регрессии к среднему. Также и компания, которую недавно исключили из расчёта индекса из-за её снижающейся производительности чаще всего показывает результат лучше, чем та фирма, которая заняла её местов в списке индекса. Это подтвердило исследование 2006 года, которое установило, что портфель из удалённых акций бьёт портфель добавленных в среднем на 4 процента в год.

В девятнадцатом веке регрессию к среднему наблюдал британский учёный Френсис Гальтон. Он обнаружил, что дети очень высокого или очень низкого роста имеют менее экстремальных родителей и потомков. То же касается и интеллектуальных способностей.

Регрессия к среднему – она повсюду: в медицине, полиции, инвестициях и даже психологии. Из лучших хоккеистов драфта НХЛ далеко не всегда получаются лучшие игроки. Кандидат, выигравший президентскую гонку, слишком часто обманывает возлагавшиеся на него надежды избирателей. Рейтинг его почти неизбежно падает. А кандидат на должность тоже часто оказывается далеко не таким хорошим, как на бумаге.

Рейтинги первых лет правления американских президентов

Выше был упомянут ошибочный закон среднего. В него верят те, кто считают, что в мире есть нерушимый баланс удачи и неудачи, и череда неудач непременно должна смениться чередой удач или наоборот. Это приводит к тому, что люди напрасно тратят время и деньги, продолжая заниматься тем же делом, когда давно пора было уже сменить занятие. Игрок в казино упорно ставит на чёрное. Спортсмен упорствует в выбранной тактике. Есть люди, которые боятся летать на самолёте после того, как они налетали очень много часов без катастроф. Эти все люди думают, что если бросить монету 1000 раз, должно выпасть 500 орлов и 500 решек. Так бывает, но на самом деле очень редко. Казино с радостью принимают ставки и не спешат разъяснять, что каждый бросок игральной кости не зависит от предыдущего. Если шансы выше у казино (а они неизбежно выше), то единственным способом не потерять деньги в честной азартной игре является не участвовать в ней.

Одним из самых драматических дней в Монте-Карло было 18 августа 1913 года, когда чёрное выпало 26 раз подряд. Игровые стратегии, основанные на законе среднего, просто не работают. Те, что работают, учитывают дефекты аппарата, в результате чего определённые цифры выпадают чаще. Был в конце девятнадцатого века такой английский механик Уильям Джэггерс, который вместе с помощниками пять недель подряд записывал цифры, выпадавшие на рулетках в Монте-Карло. Он обнаружил несбалансированность нескольких колёс, после чего и стал ставить на те самые слишком часто выпадавшие числа. Да, разница была небольшой, но она непременно оставляла его в плюсах. Казино это не понравилось, и оно пыталось отвлечь его спиртным и женщинами. Это замедлило, но не отменило удачу Уильяма. Наконец, казино поменяло рулетки местами однажды ночью, но Джэггерс почти сразу понял, в чём дело. Он заметил маленькую царапинку на любимом колесе и понял, что его переместили. После того, как он пересел туда, денежки снова потекли. Помогла смена реек, разделявших номера. Джэггерс снова заметил, что он перестал выигрывать, но не знал, что предпринять. Поэтому он забрал все свои уже немалые деньги (7 миллионов по нынешним ценам) и свалил обратно в Англию. С тех пор казино регулярно меняют и колёса, и рейки в них.

Ещё одна удачная система не происходит из статистики. Как известно, ставки в рулетке делаются уже после того, как запущен шарик. По теории можно вычислить, где он остановится, если измерить его начальное положение и скорость, а также скорость колеса. Эта система работает, наоборот, не с дефектным, а с идеальным колесом. Некоторые граждане пытались использовать лазерные сканеры и другие устройства для предсказания секции, где остановится шарик. Получилось или нет – автор не говорит, но казино эти хитрецы явно пришлись тоже не по душе.

Ещё одним интересным следствием несрабатывания закона среднего является везение в картах. Парадоксально, но факт: нам меньше везёт в картах потому, что мы плохо тасуем колоду. Современные статистики показали, что даже если перетасовать два, три, четыре, пять раз – этого всё ещё будет недостаточно, чтобы обеспечить случайный порядок следования карт.

Но люди – не карты. Они помнят о своих успехах и неудачах, и это сказывается на их последующих результатах. Кто-то падает духом и продолжает серию неудач, а кто-то собирается с силами и удваивает усилия, добиваясь успеха. Но и здесь закон среднего не работает. Если вас не взяли на работу, то это не делает ваши шансы на новом месте выше. Если ваш дом до сих пор не сгорел, то это не значит, что когда-нибудь сгорит при вашей жизни. Не ждите «да», услышав десять раз «нет», а попробуйте сменить стратегию. Невезение не делает везение более вероятным. И наоборот!

Когда я учился в институте, то на физо ходил на баскетбол. Один раз надо было сдать зачёт: попасть 5 шестиметровых бросков из 10. Я бросаю первые пять – и попадаю! Зачёт сдан, так что я промазывают все остальные. Так я почувствовал свою собственную «горячую руку». Про этот феномен уже было у Стивена Пинкера, и он писал тогда, что Тверски сотоварищи пытались статистически опровергнуть этот феномен, и вроде опровергли. Но потом у него нашли ошибки, так что «горячая рука», скорее всего, имеет место быть.

О регрессии к среднему я до сих пор не читал, так что благодарен автору за его урок. И ещё более благодарен за «закон» среднего. Чего греха таить, и сам я так подумывал, что чёрная полоса обязательно сменится белой. Необязательно, увы. Но верить так хочется! Эх…

Ему помогло то обстоятельство, что в то время водоснабжение города осуществлялось двумя компаниями. За два года до того муниципалитет обязал обе компании перенести водозаборы из самого Лондона выше по течению Темзы, но одна из них не успела это сделать. Достаточно было сравнить заболеваемость у клиентов обеих компаний, что наш доктор и сделал. Сравнение было красноречивым: смертность от холеры различалась в девять раз, и выше она была у клиентов той компании, которая брала воду из Лондона.

Также он воспользовался тем, что в районе Сохо, недалеко от его места жительства, случился особенно сильный приступ эпидемии с сотнями смертей. На тот момент этот район Лондона не имел своей канализации и снабжался водой из уличных колонок. Доктор рассудил, что причиной может быть попадание нечистот в питьевую воду колонок. Он отметил местоположение каждой колонки, а также нанёс рисочки возле домов, где жили жертвы, на карте района. Каждая смерть – одна рисочка. Стало очевидно, что многие из них жили неподалёку от колонки у перекрёстка Броуд Стрит с Кембридж Стрит.

Сноу лично пошёл по домам, где жили жертвы, и обнаружил, что они часто пили воду из колонки, проходя мимо неё. Некоторые даже ходили туда издалека за водой, потому что она была лучше на вкус. А кто-то не пил из этой колонки, несмотря на то, что жил рядом с ней, и не заболел. И все дышали одним и тем же воздухом! Сноу уговорил местные власти демонтировать рычаг этой колонки для того, чтобы прекратить эпидемию. Они согласились, скорее из отчаяния. Эпидемия быстро закончилась, но теория миазмов устояла перед напором врачи-выскочки. Колонка снова получила свой рычаг. Только потом нашли причину распространения болезни на Броуд Стрит: колонку построили всего в метре от старой выгребной ямы на месте сгоревшего и снесённого при расширении улицы дома. В эту яму и попали пелёнки больного ребёнка.

Сноу умер в 1858 году, не дожив до признания своей теории. Годом позже Лондон обрёл систему канализации. Обоснованием для неё послужили те самые нездоровые миазмы зловонного воздуха. В 1866 году случилась ещё одна эпидемия холеры, но она затронула лишь районы без канализации. После завершения работ в Лондоне не было больше холеры. Сегодня учёные отдают должную дань настойчивости доктора Сноу, теория которого полностью подтвердилась.

Подобные осложняющие факторы встречаются и сегодня, и не все с ними хорошо справляются. Например, в 2001 году вышла статья, утверждавшая о позитивном влиянии доступа детей к книгам на их оценки в школе. Благотворительные организации добросили денег в библиотеки. Однако мы не знаем, читают ли дети эти книги. Наличие книг может просто быть следствием других причин, которые влияют и на школьные оценки.

Или ещё одно исследование, сравнивавшее аварийность на дорогах с разным скоростным режимом. Оказалось, что меньше аварий там, где можно ездить быстрее. Но не потому, что на большой скорости меньше аварий, а потому наверное, что скорость ограничивают в первую очередь на небезопасных дорогах.

Иногда может сбить с толку простое арифметическое среднее. В семидесятых годах против одного из американских университетов был подан иск о дискриминации женщин. Согласно данным статистики, из 8 тысяч мужчин поступили 44%, а из 4 тысяч женщин – всего 35%. Но это оказалась температура в среднем по больнице. Когда разбили данные по факультетам, то оказалось, что на всех без исключения факультетах процент поступивших был больше у женщин, чем у мужчин. Этот ларчик открывается следующим образом: женщины шли в основном на факультеты с большим конкурсом, и многие из них не поступили. Процент поступления у мужчин на эти факультеты был ещё ниже, но число поступавших было относительно невысоким, так что зарезали не так много, как женщин. В сумме более низкий процент поступивших получился у женщин, но причина была не в дискриминации, а в том, что они выбирали для себя более престижные факультеты.

Мало какие напитки имеют такую напитанную спорами историю, как кофе. Его запрещали, потом разрешали, потом снова запрещали. Первое статистическое исследование кофе было проведено в Швеции в XVIII веке. Там правил просвещённый король Густав III. У него было много нововведений, успешных и не очень.  К числу «не очень» принадлежала войну, которую он затеял с Россией, переодев часть своих солдат в русскую форму и отправив их нападать на шведскую пограничную заставу. Ещё он ввёл сухой закон (тоже «не очень»), а также запретил кофе и собрался доказать его вредность. Для этого он помиловал двоих приговорённых к смерти близнецов, определив обоих к пожизненному заключению. Одного каждый день поили тремя чашками чая, а другого – тремя чашками кофе. Эти парни пережили и докторов, за ними наблюдавших, и самого Густава, павшего жертвой покушения. Тот, кто пил чай, дожил до 83 лет, в то время, как «кофеман» был ещё бодрячком. Но это не спасло кофе от запрета, который длился аж до 1820 года.

Густаву хорошо – он мог заставить людей пить то, что им скажут, и таким образом осуществил почти идеальный эксперимент. Почти – потому что два человека будет маловато для значимой статистики. Но сегодня мы не в состоянии так делать, и приходится наблюдать за группами людей на воле. Вот только между этими группами могут иметься систематические различия. Например, в 1971 году обнаружилось, что среди кофеманов чаще встречается рак мочевого пузыря. Однако тот, кто любит кофе, любит и сигарету выкурить. Лишь десятилетиями спустя новые исследования оправдали, наконец, кофе, возложив вину на никотин.

В начале восьмидесятых группа исследователей под руководством Брайана Макмахона нашла сильную корреляцию между употреблением кофе и раком поджелудочной железы. Сам Макмахон отказался от кофе после этого. Но впоследствии в его исследовании обнаружили проблему: он сравнивал данные пациентов, госпитализированных одними и теми же докторами, и эти доктора очень часто были гастроэнтерологи. Так что те пациенты, которые были госпитализированы не по причине рака, часто уже до того бросили пить кофе из опасений навредить своему пищеварению. Также Макмахон не брезговал харкингом. Он не проверял свою гипотезу данными, а искал её в своей статистике, которую наработал, пытаясь установить связь алкоголя или табака с раком. Ничего не нашёл, зато нарыл статистику по кофе.

Всё же кофе, скорее всего, приносит здоровью пользу, снижая шансы многих видов рака, цирроза печени и других болезней. Самый большой риск он представляет для слизистых оболочек пищеварительного тракта, вот почему язвенников просят отказаться от кофе. Крупнейшее на сегодняшний день исследование с 400 тысячами участников установило, что для тех, кто ежедневно выпивает чашечку-другую кофе, риск умереть на 5-6% реже во всех возрастных группах.

Как так? Вчера кофе был плохой, сегодня хороший. Вчера вино было хорошим, сегодня оно плохое. Солнечный свет был плохим, сегодня он хороший. Всё оттого, что исследования небезупречны. Чаще всего именно по причине осложняющих факторов или желания авторов нарыть результат в данных.

Последним примером недобросовестных исследований в главе стало сравнение возраста, в котором умирали известные музыканты, опубликованное в марте 2015 года. Оказалось, что музыканты новых жанров мрут гораздо скорее. Конечно, этот профессор психологии и музыки хайпанул, но очевидным объяснением разницы среднего возраста умершего музыканта было то, что большинство музыкантов новых жанров оставалось в живых к моменту проведения исследования и не попали в статистику.

Ура, можно пить кофе! Я бы рад, конечно, но вот качество сна этот бодрящий напиток явно не улучшает, потому я предпочитаю кофе без кофеина.

Интуитивный ответ – 1/2. И, надо сказать, он же правильный. Несмотря на то, что кому-то более искушённому в теорвере, чем простой обыватель, покажется, что 1/3. Ведь изначальная вероятность, что у него два мальчика – 1/4, а вариант с двумя девочками уже отпал. Но нет. Ведь в противном случае вероятность разнополых детей была бы 2/3 вне зависимости от того, встретили ли мы мистера Смита с мальчиком или девочкой.

Наверное, излишне будет написать, что искусственный интеллект решает подобные задачи исходя из того, что он читал сам. Автор решил проверить это на примере задачи с тремя картами. Представьте, что у нас три карты в коробке, одна из которых с обеих сторон красная, другая – синяя, а третья с одной стороны красная, а с другой синяя (RR, BB и RB). Мы взяли из коробки одну карту, и видим, что одна сторона у неё красная. Какова вероятность того, что другая тоже красная? Можно подумать, что 1/2, но на самом деле будет 2/3. Потому что всего у нас три красных стороны, и две из них расположены на полностью красной карте RR.

Так вот, нейронка правильно решает эту задачу в классическом виде. Но что будет, если изменить условие задачи, заменив в ней красно-синюю карту на красно-зелёную (RR, BB и RG), и спросив, какова будет вероятность, что обратная сторона красной карты окажется зелёной? Правильный ответ – 1/3, поскольку из трёх равновероятных красных сторон только одна имеет на обороте зелёную. Гуглевский бард выдал 2/3, а ChatGPT написал 472 слова, заключив о том, что вероятность вообще нулевая.

Когда говорят о вероятностях, речь часто идёт о случайных событиях. Однако роль независимого случая оказывается нередко преувеличенной. Часто всплывают скрытые зависимости. Если мы бросим две игральные кости, то вероятность того, что выпадут две единицы будет равна 1/6 * 1/6 = 1/36. И это верно, потому что это независимые события. Но если, например, мы захотим вычислить вероятность того, что случайно выбранный американец окажется старше 90 лет (P=0,009) и притом женщиной (P=0,5), то она окажется равной не 0,009*0,5, а 0,009*0,67. Почему? Потому что в пожилом возрасте женщины встречаются чаще.

Многие слышали выражение, что играть на бирже – всё равно, что играть в казино. И даже Нобелевский лауреат Пол Самуэльсон выразился на этот счёт:

Запишите эти 1800-процентные изменения ежемесячных цен акций на таком же количестве листков бумаги. Положите их в большую шляпу. Энергично потрясите. Затем случайным образом вытяните пару тысяч новых билетов, каждый раз заменяя предыдущий и энергично встряхивая. Таким образом, мы сможем создать новые реалистично репрезентативные возможные варианты развития будущих фондовых рынков.

Наш автор решил, что неплохо бы проверить, и сложил ежемесячный доход акций S&P за сотню лет в память компьютера и на базе этих данных сгенерировал случайным образом курсы на 25 лет вперёд. И так – миллион раз. 15% всех симуляций оказались слишком экстремальными, то есть не вписывались в диапазон той прошлой сотни лет.

Неизбежная проблема состоит в том, что цена акции на бирже – это не метание игральной кости. Она отражает в себе дивиденды и прибыли компании. Она не будет падать бесконечно долго: найдётся инвестор, который сочтёт новую цену неотразимой.

Эти рассуждения не являются очень уж академичными и праздными. За ними стоит риск реальных последствий. Исходя из «случайного» поведения цен акций на бирже некоторые аналитики советовали людям избавляться от своих акций после обвала биржи в 2008 году:

Если у вас нет задатков азартного игрока, торгующего по-крупному, немедленно избавьтесь от акций и вложите свои пенсионные накопления в государственные облигации с защитой от инфляции и аналогичные инструменты. Эти инвестиции защищены от катастроф, подобных тем, что пережил Уолл-стрит в прошлом году.

9 марта 2009 было достигнуто дно, после чего акции пошли вверх, превзойдя тогдашний курс в несколько раз. Потому что курс акции зависит от дохода компании. Будет доход – будет и рост курса.

Однако эта логика не работает для курса крипты. На чём основаны предсказания непрестанного роста биткойна? На прошлом развитии? Но ребята, если он продолжит расти, как рос когда-то, то его курс должен утраиваться каждые два года. Национальное бюро экономических исследований рассчитало на основе прошлых данных, что курс биткойна может рухнет до нуля в любой день с вероятностью в 0,4%. Пузырю биткойна суждено, конечно, когда-то лопнуть, но эти 0,4% дадут 99,9% уже за пять лет, и эти пять лет уже прошли с момента выхода в свет этого исследования. Как видно, даже крипта не работает по закону случая.

Если рассказывать о вероятностях, то не обойтись без условных вероятностей. Если кому-то придёт в голову идея устроить тестирование на наркотики на рабочем месте для, скажем, работников службы поддержки, то автор уверяет нас, что это нехорошая идея. Потому что тесты имеют свойство ошибаться. Допустим, что тест на марихуану сработает в 95% случаев. Попробуем задать вопрос наоборот: какова вероятность того, что если у кого-нибудь протестированных колег обнаружился тест сработает, то он курил марихуану? Всё зависит от цифр. Чем больше народу тестируешь – тем больше ошибок. Представим себе, что мы тестируем 10 тысяч человек, из которых 500 покуривают травку. Из этих 500 тест выявит 500*0,95=475 человек. И ещё 9500*0,05=475 выявятся из остальных 9500 человек через ложнопозитивный тест. Получается, что вероятность того, что если тест сработал, то человек на самом деле «дунул» накануне, составляет всего лишь 50%.

Похожая проблематика возникает при тестировании на очень редкую болезнь: пусть тест очень точный, но таких больных так мало, что ложнопозитивные срабатывания большого числа проводимых тестов перевесят. Они становятся практически неизбежными. Если одного и того же здорового человека подвергнуть тестированию на разные болезни с пятипроцентным шансом ложнопозитивного срабатывания, то уже после десятка тестов насобираем 40%. Увеличим количество тестов – и неизбежно приблизимся к ста процентам.

Курьёзной иллюстрацией этого принципа может служить исследование студента Крейга Беннетта, который делал МРТ у дохлой лососи. У него получилось! Ведь, как известно, магнитно-резонансная томография характеризуется высоким уровнем шумов, которые можно интерпретировать как значимый отклик. За свежий взгляд и новаторство Крейгу присудили Шнобелевскую премию.

Проблемой ложнопозитивных мы досыта наелись в пандемию. Не так давно я рассказывал в обзоре книги Век диагноза, что подобная проблематика существует с тестированием на клещевой энцефалит Лайма, который ставят многим пациентам в Австралии, несмотря на то, что этот клещ там не водится. Как известно, хорошим решением проблемы ложнопозитивных является обыкновенный повторный тест. Так что не так всё плохо. Условная вероятность – достаточно популярная тема в популярной литературе. Про неё рассказывали и Йейтс, и Граймс, и Пинкер.

В этой главе мне лично понравился оптимизм автора по поводу фондовых рынков. Всё-таки это не казино! Вложишься на полную – что-то, да и останется. Что ж, если потеряешь не все деньги, а лишь половину – уже позитив. Хотя то, что оставалось после прогоревшей крипты – это были слёзы. Сколько останется от лопнувшего пузыря биткойна – сказать трудно. Но я уверен – много. Потому что лох – не мамонт, он не вымрет. Это раз. В то время, как традиционные финансы тоже имеют свойство рушиться, так что ещё неизвестно, где найдёшь, где потеряешь. Это два.