Три известных американских психолога занялись в своё время этим феноменом в баскетболе, и не смогли подтвердить его. Однако их вывод противоречил не только представлениям игроков и болельщиков, но и свидетельствам из других видов спорта. Взять, хотя бы, Крейга Ходжеса, который попал в 1991 году 21 раз из 25 из-за шестиметровой линии, причём из них 19 раз было подряд. Автор рассчитал вероятность того, что кто-то сможет повторить его достижение, и получил всего лишь 0,59%. Это говорит нам о горячей руке Ходжеса.

И он не одинок в своих достижениях. Сабрина Ионеску, Стефен Карри тоже добились выдающихся результатов, не подпадающих под случай. Он обратился к другим видам спорта, и нашёл Уолтера Рея Уильямса младшего, который метал подковы и катал в боулинг. Этот парень делал это замечательно, но главное – он вёл статистику своих и чужих бросков, с которой было позволено ознакомиться и нашему Гари Смиту. Из неё было ясно видно, что удачный бросок приводит к следующему удачному с вероятностью в 54,5%, тогда как после неудачного броска удачный случается лишь в 50,1% случаев. Похожую ситуацию можно наблюдать и в керлинге. Если кто-то сделал 12 страйков подряд, то это называется идеальным геймом. Что, как не «горячая рука»? В сезоне 2002-3 годов случилось 19 идеальных геймов, и это вдвое выше того, что могло случаться, если бы горячая рука была мифом.

Имея дело лишь с баскетболом, можно что-то списать на осложняющие факторы. Например, там спортсмен бросает с разных позиций на поле, да ещё в разных игровых ситуациях. Но метание подков и боулинг лишены этих факторов, и всё равно там можно увидеть «горячую руку».

Любое личное достижение, будь то в спорте или где-нибудь ещё, зависит от конкретных способностей игрока, уровень которых можно оценить, рассчитав среднее от большого количества тестов. При этом важно то, что мерило успеха является несовершенным. Каждая игра, каждый экзамен, каждый выход на арену даст свой результат, и этот результат не будет одним и тем же. Теперь вопрос: если результат чьего-нибудь теста окажется выдающимся, то какой вывод о способностях участника можно будет из этого сделать? О том, что его способности тоже выдающиеся? Может быть. Но более вероятно то, что ему просто повезло в этом тесте. Потому как на каждого выдающегося участника приходится гораздо больше средних, которым может просто повезти. Этот статистический феномен называется регрессией к среднему. Её не следует путать с заблуждением закона среднего, частным случаем которого является ошибка игрока.

Регрессию к среднему можно найти в результатах разных видов спорта, например в гольфе. Там чемпионы часто бывают разными, что говорит о примерно одинаковом уровне топ-спортсменов, так что как правило побеждает тот, кому в данный случай повезёт. Работает парадокс удачи и умения: мастер почти наверняка выиграет у среднего игрока, но результат встречи двух мастеров предсказать трудно. Это касается и команд тоже.

В любой момент времени игроки и команды, которые показывают исключительно хорошие результаты, скорее всего, испытывают больше удачи, чем неудачи, и их успех, вероятно, сойдёт на нет, когда удача закончится — а это неизбежно произойдёт.

Автор иллюстрирует парадокс удачи и умения результатами бейсбольной лиги, где во время игр плей-офф команда из нижней части таблицы вполне может выбросить фаворита.

Регрессию к среднему наблюдают и в бизнесе, но некоторые могут прийти к неверному выводу, как профессор Секрист, который долгие годы собирал статистику в поисках рецепта успеха, чтобы в итоге сделать вывод  о том, что конкурентное давление делает из таланта посредственность. Почти все ведущие статистики согласились с ним, кроме Гарольда Хотеллинга, который продемонстрировал, что профессор потратил десять лет труда зря. И у самых успешных компаний, и у неудачников случаются пики и упадки производительности. Поэтому, если взять долгий срок, производительность и у тех, и у других, будет ближе к средней по отрасли. Но в те годы, где они ближе к середине, их место на краях шкалы займут другие компании, которым повезёт (или не повезёт). Эти приливы и отливы не означают, что все компании скоро станут посредственными. С тех пор, как Хотеллинг вскрыл эту ошибку, прошло уже много лет, но её совершают снова и снова даже именитые учёные и журналисты.

Регрессия к среднему может предсказать, что компания, которую недавно взяли в список для расчёта биржевого индекса Доу Джонс, на первых порах не должна блистать успехами по причине регрессии к среднему. Также и компания, которую недавно исключили из расчёта индекса из-за её снижающейся производительности чаще всего показывает результат лучше, чем та фирма, которая заняла её местов в списке индекса. Это подтвердило исследование 2006 года, которое установило, что портфель из удалённых акций бьёт портфель добавленных в среднем на 4 процента в год.

В девятнадцатом веке регрессию к среднему наблюдал британский учёный Френсис Гальтон. Он обнаружил, что дети очень высокого или очень низкого роста имеют менее экстремальных родителей и потомков. То же касается и интеллектуальных способностей.

Регрессия к среднему – она повсюду: в медицине, полиции, инвестициях и даже психологии. Из лучших хоккеистов драфта НХЛ далеко не всегда получаются лучшие игроки. Кандидат, выигравший президентскую гонку, слишком часто обманывает возлагавшиеся на него надежды избирателей. Рейтинг его почти неизбежно падает. А кандидат на должность тоже часто оказывается далеко не таким хорошим, как на бумаге.

Рейтинги первых лет правления американских президентов

Выше был упомянут ошибочный закон среднего. В него верят те, кто считают, что в мире есть нерушимый баланс удачи и неудачи, и череда неудач непременно должна смениться чередой удач или наоборот. Это приводит к тому, что люди напрасно тратят время и деньги, продолжая заниматься тем же делом, когда давно пора было уже сменить занятие. Игрок в казино упорно ставит на чёрное. Спортсмен упорствует в выбранной тактике. Есть люди, которые боятся летать на самолёте после того, как они налетали очень много часов без катастроф. Эти все люди думают, что если бросить монету 1000 раз, должно выпасть 500 орлов и 500 решек. Так бывает, но на самом деле очень редко. Казино с радостью принимают ставки и не спешат разъяснять, что каждый бросок игральной кости не зависит от предыдущего. Если шансы выше у казино (а они неизбежно выше), то единственным способом не потерять деньги в честной азартной игре является не участвовать в ней.

Одним из самых драматических дней в Монте-Карло было 18 августа 1913 года, когда чёрное выпало 26 раз подряд. Игровые стратегии, основанные на законе среднего, просто не работают. Те, что работают, учитывают дефекты аппарата, в результате чего определённые цифры выпадают чаще. Был в конце девятнадцатого века такой английский механик Уильям Джэггерс, который вместе с помощниками пять недель подряд записывал цифры, выпадавшие на рулетках в Монте-Карло. Он обнаружил несбалансированность нескольких колёс, после чего и стал ставить на те самые слишком часто выпадавшие числа. Да, разница была небольшой, но она непременно оставляла его в плюсах. Казино это не понравилось, и оно пыталось отвлечь его спиртным и женщинами. Это замедлило, но не отменило удачу Уильяма. Наконец, казино поменяло рулетки местами однажды ночью, но Джэггерс почти сразу понял, в чём дело. Он заметил маленькую царапинку на любимом колесе и понял, что его переместили. После того, как он пересел туда, денежки снова потекли. Помогла смена реек, разделявших номера. Джэггерс снова заметил, что он перестал выигрывать, но не знал, что предпринять. Поэтому он забрал все свои уже немалые деньги (7 миллионов по нынешним ценам) и свалил обратно в Англию. С тех пор казино регулярно меняют и колёса, и рейки в них.

Ещё одна удачная система не происходит из статистики. Как известно, ставки в рулетке делаются уже после того, как запущен шарик. По теории можно вычислить, где он остановится, если измерить его начальное положение и скорость, а также скорость колеса. Эта система работает, наоборот, не с дефектным, а с идеальным колесом. Некоторые граждане пытались использовать лазерные сканеры и другие устройства для предсказания секции, где остановится шарик. Получилось или нет – автор не говорит, но казино эти хитрецы явно пришлись тоже не по душе.

Ещё одним интересным следствием несрабатывания закона среднего является везение в картах. Парадоксально, но факт: нам меньше везёт в картах потому, что мы плохо тасуем колоду. Современные статистики показали, что даже если перетасовать два, три, четыре, пять раз – этого всё ещё будет недостаточно, чтобы обеспечить случайный порядок следования карт.

Но люди – не карты. Они помнят о своих успехах и неудачах, и это сказывается на их последующих результатах. Кто-то падает духом и продолжает серию неудач, а кто-то собирается с силами и удваивает усилия, добиваясь успеха. Но и здесь закон среднего не работает. Если вас не взяли на работу, то это не делает ваши шансы на новом месте выше. Если ваш дом до сих пор не сгорел, то это не значит, что когда-нибудь сгорит при вашей жизни. Не ждите «да», услышав десять раз «нет», а попробуйте сменить стратегию. Невезение не делает везение более вероятным. И наоборот!

Когда я учился в институте, то на физо ходил на баскетбол. Один раз надо было сдать зачёт: попасть 5 шестиметровых бросков из 10. Я бросаю первые пять – и попадаю! Зачёт сдан, так что я промазывают все остальные. Так я почувствовал свою собственную «горячую руку». Про этот феномен уже было у Стивена Пинкера, и он писал тогда, что Тверски сотоварищи пытались статистически опровергнуть этот феномен, и вроде опровергли. Но потом у него нашли ошибки, так что «горячая рука», скорее всего, имеет место быть.

О регрессии к среднему я до сих пор не читал, так что благодарен автору за его урок. И ещё более благодарен за «закон» среднего. Чего греха таить, и сам я так подумывал, что чёрная полоса обязательно сменится белой. Необязательно, увы. Но верить так хочется! Эх…

Рисунок и подпись взяты здесь: Описательная статистика перформанс-распределений / Хабр (habr.com)

В качестве дополнительной иллюстрации - пример из жизни

Длительность сбора данных: 10 часов.

Периодичность сбора данных: 1 минута.

Период сглаживания: 1 час.

Скользящая средняя

Значение в момент t = среднее арифметическое отрезка [Y(t) ; Y(t - период) ]

Скользящая медиана

Значение в момент t = медиана отрезка [Y(t) ; Y(t - период) ].

Кстати , о выбросах

Принципиальное отличие в сглаживании скользящей средней и скользящей медианой хорошо заметно на данных реальной нагрузки на СУБД

Как было указано выше:

Скользящая медиана дает вам более плавный и стабильный график, который можно использовать при анализе ситуации и отправления автоматических алертов

Поэтому , в инструментарии для анализа и мониторинга производительности СУБД используется скользящая медиана - короткий период сглаживания 10 минут и длинный период сглаживания 1 час.

https://www.gov.spb.ru/gov/terr/reg_viborg/news/190431/

https://avtostat-info.com/News/10883