Любой рейтинг, это не просто набор звезд. Это модель. А у любой модели есть требование, она должна отделять закономерность от шума. Если у водителя на протяжении длительного периода доминируют высокие оценки, если его регулярно отмечают за вежливость, аккуратное вождение, чистоту салона и общий комфорт поездки, (при этом оставляя еще и чаевые) то такая картина формирует устойчивый статистический профиль водителя или повторяемый результат на длинной дистанции. Низкая единичная оценка внутри такого профиля не обязана автоматически считаться ложной. Но она обязана рассматриваться как явление аномальное, требующее более тщательной проверки или даже исключения. Если же система трактует такую оценку почти линейно, как равноправный элемент общей выборки, не учитывая ее выделяющийся характер, она перестает быть аналитическим инструментом и превращается в механическую сумму. Это уже не оценка качества, а просто арифметическое накопление пользовательских реакций, среди которых объективные сигналы и случайный шум смешаны в одну массу.

В любой системе массовой обратной связи неизбежно присутствует шум. Под шумом в данном случае следует понимать оценки, которые не отражают реальное качество услуги либо отражают его искаженно, например подача машины с опозданием, в следствие чего опоздание на встречу или просто плохое настроение, а может просто раздражен ценой поездки. Если алгоритм не умеет их распознавать, они считаются на ровне с другими имея тот же вес. И в этом состоит фундаментальный дефект рейтинговой системы Яндекса: она предполагает, что каждая оценка одинаково надежна, хотя в реальности надежность отдельных оценок различна. При этом насколько можно понять по источникам в интернете еще и используется модель "временно-взвешенная модель" - где недавние оценки приоритетные и имеют больший вес (данная модель на мой субъективный взгляд отличная, но не в исполнении Яндекса). Так как корректная модель должна учитывать не только сам факт низкой оценки, но и ее место в структуре всей выборки. Если длительное время преобладают высокие оценки, а затем появляется единичная "негативная", то в статистическом смысле значительно более вероятно, что мы наблюдаем некоторое отклонение, чем то, что качество сервиса внезапно и резко изменилось ровно в одной поездке, а затем снова вернулось к норме. Само существование накопительного рейтинга предполагает, что система ценит длинную дистанцию, а приоритет последних оценок позволяет быстро реагировать на ухудшение сервиса, но конкретно в реализации Яндекса, модель не обеспечивает достаточной проверки достоверности этих свежих данных, что делает водителя уязвимым (но работает ли система правильно как описано в интернете я не уверен, мне кажется линейно, просто среднее арифметическое).

Отдельно стоит проблема самой структуры оценки. Недовольства имеют разную природу и разную значимость. Жалоба на опасное вождение - это одно (на мой взгляд наиболее важный критерий в оценки сервиса). Жалоба на грубость - другое. Жалоба на музыку или салон - третье. И в моем восприятии, это принципиально разные категории, и в случае с первыми двумя, возможно стоит подключать специалистов для проверки, а не оставлять на откуп алгоритмам? Опасное вождение, агрессия, это существенные основания. Субъективное недовольство уровнем общения, отсутствием разговора, не понравилась машина, музыка или иные предпочтения - это уже область вкуса и восприятия. При такой модели водитель становится заложником не стандарта Яндекса, а эмоционального комфорта/настроения конкретного пассажира. При этом, эмоциональная удовлетворенность не всегда является показателем нарушения соблюдения стандартов сервиса, со стороны водителя.


2. Психология водителя: почему несправедливый рейтинг демотивирует сильнее

Водитель, который сознательно старается держать стандарт, обычно выстраивает поведение вокруг предсказуемости, избегает лишних конфликтов, контролирует манеру вождения, следит за чистотой, старается не раздражать пассажира лишним разговором, но и не быть холодным, подстраивается под ситуацию, по сути постоянно в режиме самоконтроля. Мысль простая, если я системно, соблюдаю стандарты, система это учитывает и защищает мою репутацию. По факту, нет. Возникает не просто раздражение, а потеря мотивации. Водитель начинает понимать, что его дисциплина не гарантирует защищенности. Он может делать все правильно, но оставаться уязвимым.

3. Отказ разбираться и смотреть доказательства.

Наверное у подавляющего числа водителей, есть регистратор, большинство случаев, можно достаточно легко либо подтвердить, либо опровергнуть. При общение в поддержку, эти материалы не рассматриваются.

4. Более справедливая модель

Прежде всего, низкая оценка не должна иметь одинаковый вес. Если она единична и резко выбивается, ее вес должен быть ниже до завершения дополнительной проверки или до получения серии негативных оценок, то есть система должна учитывать повторяемость. Не одна жалоба должна формировать вывод, а повторяющийся паттерн жалоб.

Причины недовольства должны быть разделены по значимости. Жалобы, относящиеся к безопасности, дисциплине исполнения заказа и прямым нарушениям, не могут механически приравниваться к жалобам на вкусовые или субъективные предпочтения. А если причина жалобы технически проверяема, должна использоваться телеметрия (которую Яндекс записывает - правда не всегда корректно). Если это жалоба на опасную езду, система обязана анализировать данные поездки, а не ограничиваться фактом нажатия кнопки.

При явных противоречиях, должна запускаться ручная, а не шаблонная проверка. Хорошая система оценки должна быть чувствительна к устойчивым проблемам и нечувствительна к случайным отклонениям и различать, где действительно есть проблема, а где перед ней статистический мусор.

Мой пример:
Просто мой личный пример, тут еще забавно, что тройку поставили ровно на следующий день после того, как пришло сообщение с благодарностью за соблюдение правил сервиса и дополнительным приоритетом на неделю (после тайного пассажира). Но, в целом, как можно заметить, большинство пассажиров очень даже приятные люди. Что не понравилось? Сначала поддержка сказала "Был не вежлив" потом "Опасное вождение", думаю стоит в снегопады добавить не довез до подъезда (в тот день пару раз машины стояли застрявшие во дворе, один раз вместо дороги, просто сугроб был).

Представьте: ваш ребенок ходит каждый день в школу ( и не важно в какое звено), он старается, делает домашку, пишет рефераты (то есть ищет информацию, закрепляет ее, старается, анализирует), а еще работает на уроке, отвечает и тд. За это ему ставят оценки.

И вот наступает день контрольной (и ведь не одна в четверти бывает). А ваш ребенок часть материала пропустил-болел, или переволновался, или еще что-то. Не дурачок ваш ребенок уж совсем, но так вышло, что за эту контрольную он получил оценку 3 или 2.

А дальше начинается самое интересное

По средневзвешенной системе оценка вашего ребенка в четверти бац и ухудшилась. Потому что за контрольную работу 3-5 балла, а за домашку -1 балл. Обидно, неприятно, несправедливо. И руки опускаются и у детей, и у взрослых. И мотивация к учебе аккуратно тает на глазах.

Вот, посмотрите на скрин - это все про нее, новую предлагаемую систему оценки для школ (если раньше говорили и пробовали по чуть-чуть, то с этого года пошли в атаку в ряде регионов страны и рекомендуют школам вводить такую систему. Пока не обязательно)

Самое смешное, что на скрине выше авторы обманывают даже сами себя. Пишут, что по обычной системе в примере оценка за четверть 4,67, в то время как по новой - 4,33. Где тут речь о повышении шансов на хорошую оценку в четверти, если в 1 случае - это 5, а во втором - 4? И ведь в примере на скрине еще хорошие оценки...

Конечно, можно спросить: а что мешает вашему ребенку учиться лучше, больше стараться? Но позвольте, в классе у педагога по 35-40 детей, а карман у обычных родителей не потянет репетиторов по всем предметам. А гений далеко не каждый. Да и иногда реально обстоятельства в жизнь вмешиваются. Вот и получается, что до 9 класса еще дотянуть кое-как помогут, а потом - до свидания

И это не считая стресса детей и учителей в процессе этих странных предлагаемых перемен

Я не против рабочих профессий, но я за то, чтобы была возможность их выбрать искренне, а не принудительно

Где это происходит прямо сейчас?

Например, в Тюмени. Причем директора школ пытаются ввести такую систему в обход всех юридических норм. В одной из школ отец-юрист уже добился отмены (полное видео длится 3 минуты и 14 сек, вот ссылка )

Такая же история в гимназии номер 4 и школе 94. Систему еще не ввели, но заочно "договорились" внутри. Осталось только договориться с родителями, которые против, собирают подписи

Уговорить, конечно, пытаются. Мол, и в СССР была такая система оценки. Но это совсем не так. Как минимум, если мы верим историческим документам - постановление от 1944 года "О введении цифровой пятибалльной системы оценки успеваемости и поведения учащихся начальной, семилетней и средней школы"
(Есть тут, кто учился в СССР? Как выставляли оценку за четверть?)

Более того, такой опыт был и в соседних регионах, например, в ряде школ ХМАО, но той самой "пользы в сторону ученика" он не принес, скорее наоборот, судя по отзывам местных

ПС: Морали нет. Переживаю за своих детей. Да, я за знания и подготовку. Но адекватность предлагаемой системы вызывает большие вопросы.

Населенной божественными существами

А всем, кто против, - спасибо и вам того же

В том случае если вы не правы

Имею право

Впрочем говоря это дятлы