Регрессия к среднему

аналитические и обучающие статьи, информация, книги
Ответить
tishka
Site Admin
Сообщения: 5094
Зарегистрирован: Вт фев 21, 2017 11:07 pm
Репутация: 580

Регрессия к среднему

Сообщение tishka » Сб авг 04, 2018 4:11 pm

Взято с https://bookmaker-ratings.ru/matematich ... -srednemu/



Давайте предположим, что в крупной средней школе провели два разных теста на определение способностей. Далее отбираем десятку лучших учеников из числа тех, кто лучше всех написал первый тест. Скорее всего, вы будете разочарованы результатами второго теста тех же самых 10 учеников. И напротив, если взять десятку отстающих по первому тесту и проверить то, как они написали второй, в среднем результаты второго теста будут лучше первого. Это и есть регрессия к среднему, и добросовестные школьные учителя могут подтвердить, что так оно и есть.

Даниел Канеман, анализирующий удивительные эксперименты в области поведенческой психологии (я уже писал), в книге «Thinking fast and slow» приводит занимательный случай из опыта израильских авиационных инструкторов. Они заметили, что пилот, которого похвалили за исключительно мягкое приземление, в следующий раз приземлится жестче. Обратное тоже верно: если пилота отчитали за исключительно жесткое приземление, в следующий раз он сядет мягче. Отсюда следовал ложный вывод: похвала, в отличие от строгого внушения, не действует.

На самом деле похвала, равно как и порицание со стороны инструктора, тут ни при чем. Все дело в регрессии к среднему. С пика дорога только вниз, а со дна ущелья — наверх. Так же, как и в случае с серией тестов — после провального результата следует подъем, а после ошеломительного успеха — спад. Так как поощрение сопровождалось худшими приземлениями, инструкторы видели причину именно в неверной вербальной установке. Соответственно возникала мнимая причинность между порицанием и более мягким приземлением пилота.

Если обобщить эти два примера, то выстраивается вот какая закономерность. Если средние А-оценки испытуемых отклоняются от общего среднего X на k единиц, тогда среднее от их Б-шкалы будет обычно отклоняться от общего среднего Y меньше, чем на k единиц. Эту закономерность обнаружил британский ученый Фрэнсис Гальтон — автор знаменитого эксперимента с определением веса бычьей туши, обнаруживший тем самым мудрость толпы. Вообще-то, Гальтон придерживался сомнительных, с точки зрения современной науки, взглядов, был сторонником евгеники и считал, что талант передается по наследству от родителей к детям.

Для того чтобы подтвердить свою гипотезу фактами, Гальтон приступил к измерениям. Однако талант не туша быка и не поддается измерению на весах. Не беда, у Фрэнсиса Гальтона был план В, и, согласно этому плану, он стал измерять рост людей, так как это вполне поддается линейному счету. Как известно, у высоких родителей и дети рождаются высокими. Гальтон тоже так полагал, но вот что он обнаружил, проведя большое количество замеров роста и подведя итоги.

Каким бы парадоксальным это ни казалось на первый взгляд, но то, что рост взрослого потомства должен в общем быть более близким к среднему, чем рост родителей, — теоретически целесообразный факт, несомненно подтвержденный наблюдениями.

Дети далеко не всегда бывают такими же высокими, как и родители. Если рост отца 189 см., а матери 178 см., то сыновья могут зачастую быть ниже отца, а дочери — ниже матери. То же самое с низкорослыми родителями и детьми. На картинке черная линия показывает предполагаемую тенденцию до сбора и анализа данных, а красная, прерывистая, показывает наилучшее соответствие полученным данным. Дети действительно наследуют рост родителей, но с поправкой на отсечение крайних значений и гравитации к среднему.

Житейская мудрость гласит, что природа отдыхает на детях великих людей. Исключения бывают, но крайне редко. Можно вспомнить музыкальную династию Бахов, отца и сына писателей Дюма и ученых Капица. Эта житейская мудрость отражает лишь половину дела, ведь если речь идет о крайне обделенных способностями родителях, то природа на детях должна потрудиться.

Когда во время ЧМ Россия с Хорватией стали готовиться к серии одиннадцатиметровых ударов, я вздрогнул, подумав, что россиян накроет эта самая гравитация к среднему после блистательной отыгранной серии пенальти с командой Испании. В тот раз игроки и вратарь сыграли превосходно, на пике возможного, следовательно во второй раз ошибки должны были проявиться.

Неспособность понять регрессию к среднему может иметь неприятные последствия для игроков, но также и для тренеров, инструкторов, учителей и родителей. Не понимая природу случайных событий, мы злостно преувеличиваем важность и степень воздействия своих слов. Поощрения и порицания применяются там, где без всяких слов справляется регрессия к среднему.

Crixx
Прогнозист-любитель
Сообщения: 263
Зарегистрирован: Сб дек 16, 2017 9:54 am
Репутация: 6
Откуда: Тюмень

Re: Регрессия к среднему

Сообщение Crixx » Пн авг 06, 2018 9:31 pm

Мне кажется это работает в случаях, когда вероятность того или иного события приближается к 50%. Типо: выпадет орёл или решка? А если решка выпадала до этого 5 раз подряд? Предыдущие события никак не влияют на последующие, но всё же на дистанции разница будет примерно 1 к 1, закон больших чисел.

tishka
Site Admin
Сообщения: 5094
Зарегистрирован: Вт фев 21, 2017 11:07 pm
Репутация: 580

Re: Регрессия к среднему

Сообщение tishka » Пн авг 06, 2018 9:45 pm

Crixx писал(а):
Пн авг 06, 2018 9:31 pm
Мне кажется это работает в случаях, когда вероятность того или иного события приближается к 50%. Типо: выпадет орёл или решка? А если решка выпадала до этого 5 раз подряд? Предыдущие события никак не влияют на последующие, но всё же на дистанции разница будет примерно 1 к 1, закон больших чисел.
Статья конечно больше для начинающих и вроде как и не совсем про ставки, но мне она понравилась. Возможно из-за упоминания пенальти с Хорватией. Во время просмотра развязки матча о ставках не думал, а уже потом вспоминалась закономерность, что обычно на ЧМ команда, выигравшая серию пенальти, вылетает в следующей. Правда, в том матче обе команды были после победных пенальти, но тут уже просто сказалась разница в классе, хорваты умеют пробить в угол ворот, а наши нет. Видимо, выиграть две подряд серии пенальти у превосходящих по классу команд было бы слишком жирно.

dashet
Прогнозист-любитель
Сообщения: 375
Зарегистрирован: Пн ноя 20, 2017 9:32 am
Репутация: 65
Откуда: Сибирские Афины

Re: Регрессия к среднему

Сообщение dashet » Вт авг 07, 2018 2:40 pm

tishka писал(а):
Сб авг 04, 2018 4:11 pm
Взято с https://bookmaker-ratings.ru/matematich ... -srednemu/
Спасибо, друг мой, отличная статья. Прочитал раза три, полез пошастать по ссылкам. Потом думал, немного страдал (процесс думанья с возрастом дается сложнее, мешает также с возрастом усиливающееся внутреннее ощущение собственной правоты. Практически по любому вопросу. (и да, я в курсе, что признаки органической деградации ЦНС) Так что если в 25 лет что то вызывает восхищение глубиной мысли, то в 40 лет то же самое оценивается со скепсисом и оттопыренной губой ("ну не знаааю, фигня какая то"). Ну а на подступах к бодрым шестидесяти уже можно и не вникать, "Чушь!","Вздор!", "Какой дебил это написал!" и "мои, мои труды читать надо, а не писать тут всякое!" - такая оценка практически любого текста вылетает из глубин атеросклеротического "моска" автоматически). Потом еще подумал, чего надумал. Пойдем по порядку.

1. Раз мы тут заговорили о результатах, значит речь идет о мастерстве в той или иной области. И о труде, работе. Ясно понятно, что эти самые результаты являются производным от сложения влияния двух групп факторов, как положительных, с точки зрения результата, так и отрицательных. Ну и раз мы о ставках, то какие факторы положительно влияют на результаты капера, а какие отрицательно?

Положительно:
-. выспался, физически адекватен, готов работать.
-. теорию знает, общее поведение "рынка" на котором работает знает.
-. эмоционально стабилен, настроение хорошее.
-. информация по "событию" достаточно полная, есть аргументы и за и против.
-. есть оценки сторонних экспертов по данному вопросу.

Отрицательно:
-. вигор конторы. Мат ожидание букмекера с гандикапом в свою пользу.
-. работа целой кучи аналитиков конторы над выставлением линии. На дистанции они чаще правы, чем отдельно взятый "деятель"
-. тильт.
-. физическое недомогание (недосып, усталость, а то и похмелье и тд)
-. рандом, (эту же суку зовут дисперсией результатов) Короче, непредвиденная жопа.
-. незнание теории, состояния рынка. Тогда единичный случай часто принимается за "моду"
(как то году так в 2013 зашел я на НБА, взял статистику регулярного чемпионата за последние две недели, а там треш угар и содомия. все андердоги выигрывают, с коэфф 3 - 4, а фавориты летят со страшной силой, причем исходам ладно еще, а форами вообще проц 80%. Ну я тут понял, что вот они, изи мани, не надо думать, и вообще "содомиты окресть а я аз есмь Добрыня Никитьич един", берешь ф+ по линии на андердога и удвоение банка каждую неделю. Ну, понятно, что в реальности я случайно попал на конец волны проигрышей фаворитов, потом они взялись за ум и ситуация с форами вышла в 50 на 50, а вигор конторы сделал свое дело. За две недели я получил просадку -50% от банка. И в общем то, легко отделался, т.к. было огромное желание "притопить" и удвоить номинал ставки (щаз, щаз попрет, вот уже уже), но, в общем, не "притопил", а за следующую неделю фавориты устроили андердогам лютый погром, забрав проц 70 фор) Ппц был столь глубок и всеобъемлющ, что даже страдать не мог. Но из колеи меня все это выбило тогда месяца на два.)

Будут очень интересны твои дополнения к списку помогающих и мешающих факторов.

Теперь по регрессии к среднему. Возьмем результаты капера. С одной стороны, мы получим обычную синусоиду, причем глобально ее направление будет определятся вверх или вниз в зависимости от баланса тех самых +/- факторов. С другой стороны, не все так линейно. Мне представляется, что данная картинка находится как минимум в трехмерном пространстве (а то и вообще хз скльки мерном, квантовая физика, Б!) и на нее оказывают влияние вообще сторонние факторы, от человека или букмекера не зависящие. Например, капер может "подключится" к ноосфере (когда появляется во сне точный счет, как Менделееву его таблица). Теперь насчет пика результатов и "дна ущелья" А как насчет репагулюма, когда количество переходит в качество? И тогда с пика открывается выход на новые горизонты, без возврата к прошлым ошибкам, а на дне ущелья появляется еще одна могила. С эпитафией "старался стать богатым и помер". Ну по английски, конечно.

Очень интересно подумать над данной темой, поломать голову. Это системный взгляд на процесс, он может привести к улучшению (уж моих то точно! ) результатов.

dashet
Прогнозист-любитель
Сообщения: 375
Зарегистрирован: Пн ноя 20, 2017 9:32 am
Репутация: 65
Откуда: Сибирские Афины

Re: Регрессия к среднему

Сообщение dashet » Ср авг 08, 2018 9:35 am

Пока сижу в порезке чего бы и не пофилософствовать. Дальше, естественно, ИМХО, сугубо ИМХО и даже если со ссылками на авторитетов, все равно ИМХО, то есть отсебятина. Речь, считаю, надо вести о результатах нашей деятельности, то есть работы капера (или беспросветного попанства, тут как пойдет).

Думаю, тезис о том, что результаты капера есть сумма положительных и отрицательных факторов, влияющих на качество его работы, стоит принять за истину, иначе мы говорим не о ставках, а о рулетке. Где, свобода выбора игрока лишь иллюзия, и на больших дистанциях все четко укладывается в мат ожидания того или иного события. Например, вероятность того, что следующим спином шарик упадет на красное составляет 48,6% (рулетка европейская) и ппц. Причем это независимо от предыдущих результатов (ха ха. Даже если до этого было подряд 20 раз красное.). Чем больше дистанция, тем больше процент попаданий на красное будет стремится к 48,6%. У любого игрока. Хоть у обезьяны, хоть у осьминога Пауля, хоть у ДемонФроста. Потому что это математика, Б!
Естественно, здесь в полной мере работает дисперсия, и если сравнивать отрезки, скажем, в 1000 спинов, то мы получим и волны по 10 красных подряд и разные проценты попадания, скажем где то 47%, а где то 53% (хотя это я хватил, скорее всего побольше). Но это все, общеизвестно, так что с приветом, ваш Кэп Очевидность (кстати, на мое мнение, то еще тот тип этот кэп, вовсю тайно встречается с мисс Ох@ительная Невероятность).

Работа капера это все таки не спин рулетки, иначе вигор бы 5 % (а в лайве 10 - 12%) не закладывался. То есть предполагается, что игрок в своих выборах в среднем способен быть на равных с конторой, но на ее стороне плечо (а также, муа-ха-ха :evil: , порезки, невыплаты, баны, отмены ставок и вообще блэк джек с девками).
Ну и я считаю, что на этом форуме (вами, Вами, друг мой, снимаю шляпу :ugeek: ) тема РОИ на дистанции раскрыта отлично. Если подходить к вопросу серьезно, то есть без дураков зарабатывать и жить с беттинга, то на большой дистанции, скажем, год, РОИ должна быть не менее 5% (уже с учетом вигора конторы, то есть надо верно выбирать 55% случаев при равных вероятностях).

Также, очевидно, что чем больше оборот (это или больше ставок или больше размер ставки) тем ниже можно иметь РОИ.
Опасности тут какие - больше процент ставок - выше процент ошибок, меньше времени на анализ каждого выбора. Выше номинал ставки к % по банку (1%, 2%, выше уже опасно) - будет мучать дисперсия. Она неизбежна, волны проигрышей будут.
Если волна глубокая, возникает вероятность тильта, что тоже ухудшает результаты. Плюс волны проигрышей могут быть и от влияния неучитываемых в анализе факторов (ну, там, контора подключила нейросеть и все коэффициенты изменились. Или. В баскете такое видел, в лайв ставках. Поменялась мода на поведение игроков на площадке. Раньше в европейском баскете часто была так называемая "мирная концовка". Одна команда ведет +12 и больше, и за последние 2 - 3 атаки сама бросает как попало, а сопернику дает больше шансов сократить разрыв, и свою последнюю атаку вообще не проводит, мячик на паркет и ждет пока таймер кончится. Естественно, фора Ф+ в лайве заходила часто, т.к. за 1 - 1,15 до конца на андердога давали -0,5 очка. Ну и андердог набирал, а фаворит его отпускал, все довольны. А вот с 2017 года появилась мода играть до конца, Б! "kill the weak!" :twisted: :twisted: :twisted: Фаворит последнюю минуту матча лезет вперед как оглашенный, андердог тупо теряет мяч, и ф+ не заходит. ("Раньше такой фигни не было!"). В хоккее с тоталами тоже бывало весело. Году так в 2016 в КХЛ ужесточили правила, штафов стало примерно на треть больше, команды в добавок понаучились большинство разыгрывать и ппц, прощевай ТМ. Причем дисперсии результатов были абсолютно дикие, а в таких условиях вигор просто душит (его еще и подняли, пиннакл раньше равновесный на тотал в КХЛ давал за 1,95, а стал за 1,92 давать)

Воот. И при таких "неизбежных на море случайностях" не будет никаких средних результатов, а будет банкротсво. Дно ущелья без пути наверх. Далее, в общем, мысль.

:idea: Если результаты идут вниз, и внутри есть ощущение, что "что то не то", то в игру вступил ранее неучитываемый фактор и надеяться на то, что "дисперсия к среднему" вывезет (а это ряд конкретных действий - повышение номинала ставки, например) не надо.

Не вывезет. Понимаем, что результаты на табло это работа неучитываемого ранее фактора и надо: стоп касса и разбираемся что не так. Еще хорошо снизить номинал ставки, минимум в двое. Ежели все ок, то на меньшем номинале "дисперсия к среднему" даст рост банка. А ежели не ок, то убережет от банкротсва и даст время подумать, что не так.

Отсюда еще одна мысль:

:idea: Механизм страховки от будущей "неизбежной случайной фигни". - при росте номинала ставки должно происходить его снижение в процентном отношении к банку. :geek:

Ну то есть при банке 100 кр ставка в 1% выглядит достаточно безопасно (минус банк - да и хрен с ним, закинул новые и работаем дальше). А при банке 1 ккр 1% уже риск, для компенсации возможных проблем. лучше 0,5% а то и 0,2%. ("но как же так, это же мало!" отметаем с негодованием. Как это мало?! Раньше ставил 1000 р, а теперь пихаешь 5000 р. Раньше за месяц выигрывал допустим +30 ставок, что было 30 тр, а теперь выигрываешь +30 ставок, что 150 тр. И при таком подходе, имеешь неплохие шансы выигрывать 150 тр дальше (по Сибири, кстати, достойная ЗП))

Вот такой вот вышел опус. Друг мой, есть что сказать в плане обратной связи? Кстати, если бессодержательно и графомания, стирай его нафиг :)

С уважением, Dashet

tishka
Site Admin
Сообщения: 5094
Зарегистрирован: Вт фев 21, 2017 11:07 pm
Репутация: 580

Re: Регрессия к среднему

Сообщение tishka » Ср авг 08, 2018 10:27 pm

dashet писал(а):
Вт авг 07, 2018 2:40 pm
С другой стороны, не все так линейно. Мне представляется, что данная картинка находится как минимум в трехмерном пространстве (а то и вообще хз скльки мерном, квантовая физика, Б!) и на нее оказывают влияние вообще сторонние факторы, от человека или букмекера не зависящие. Например, капер может "подключится" к ноосфере (когда появляется во сне точный счет, как Менделееву его таблица). Теперь насчет пика результатов и "дна ущелья" А как насчет репагулюма, когда количество переходит в качество? И тогда с пика открывается выход на новые горизонты, без возврата к прошлым ошибкам
По факторам особо нечего добавить. Разве что опыт- на мой взгляд важнейший фактор, в том числе опыт поражений. Ну и как следствие- действительно переход количества (этого самого опыта) в качество. Ну и "ненаучные" факторы на мой взгляд тоже оказывают влияние. Тем более если наука чего-то не знает, это не означает, что этого нет. А уж если речь зашла о квантовой физике- кто хоть немного ею интересовался, наверное согласятся, что мир сильно отличается от представлений обычного человека о нем.
dashet писал(а):
Ср авг 08, 2018 9:35 am
Плюс волны проигрышей могут быть и от влияния неучитываемых в анализе факторов (ну, там, контора подключила нейросеть и все коэффициенты изменились. Или. В баскете такое видел, в лайв ставках. Поменялась мода на поведение игроков на площадке. Раньше в европейском баскете часто была так называемая "мирная концовка".
Воот. И при таких "неизбежных на море случайностях" не будет никаких средних результатов, а будет банкротсво. Дно ущелья без пути наверх.
Такие вещи все-таки должны происходить достаточно плавно, а мне лузсерии напоминают скорее переключение тумблера.
dashet писал(а):
Ср авг 08, 2018 9:35 am
:idea: Если результаты идут вниз, и внутри есть ощущение, что "что то не то", то в игру вступил ранее неучитываемый фактор и надеяться на то, что "дисперсия к среднему" вывезет (а это ряд конкретных действий - повышение номинала ставки, например) не надо.

Не вывезет. Понимаем, что результаты на табло это работа неучитываемого ранее фактора и надо: стоп касса и разбираемся что не так. Еще хорошо снизить номинал ставки, минимум в двое. Ежели все ок, то на меньшем номинале "дисперсия к среднему" даст рост банка. А ежели не ок, то убережет от банкротсва и даст время подумать, что не так.
Вроде уже несколько раз писал про это :).
dashet писал(а):
Ср авг 08, 2018 9:35 am
:idea: Механизм страховки от будущей "неизбежной случайной фигни". - при росте номинала ставки должно происходить его снижение в процентном отношении к банку. :geek:

Ну то есть при банке 100 кр ставка в 1% выглядит достаточно безопасно (минус банк - да и хрен с ним, закинул новые и работаем дальше). А при банке 1 ккр 1% уже риск, для компенсации возможных проблем. лучше 0,5% а то и 0,2%.

Вот такой вот вышел опус. Друг мой, есть что сказать в плане обратной связи?
Так и делаю. Когда начинал последний раз три года назад (с небольшой суммы), то и по 25% за один раз ставил :). По мере роста банка ставку повышал, но медленнее. Сейчас стандартные размеры ставок- чуть более 1% или вдвое меньше (изредка ставлю вдвое или втрое больше).

Насчет обратной связи- не всегда есть время ответить в будние дни :).

Ответить