ПРОГНОЗ - 1
ПРОГНОЗ.
Сегодня у нас интереснейшая тема – БУДУЩЕЕ.
Иначе говоря – прогноз. ОПИСАНИЕ ТЕХНОЛОГИИ.
Не предсказания, не видения (не отрицая возможности таковых для «сенсоров» - сам с подобными ребятами работаю)) – но именно ПРОГНОЗ.
Математика, база, статистика – и КРАТКОСРОЧНЫЙ, среднесрочный – и «вдолгую» результат.
Работа в этом ключе показала востребованность темы; письма приходят постоянно, запрос читателей представляется совершенно не пустяшным – так что будем соответствовать.
- Да ладно, автор. Ты что, будущее можешь предсказывать?
Разумеется. На бытовом уровне это может каждый (с определёнными вероятностями, конечно). Реакция мужа\жены на опоздание или разбитую тарелку; само предвидение того, что тарелка разобьётся – если швырнуть её в стену – эти очевидности не кажутся нам откровением. Строитель может предсказать степень проблемности здания в определённых условиях; механик - двигателя, экономист – экономики. Признаки, параметры, маркеры – в экономике (по специфике профессии), как раз проще. Больше счётности, статистики, числовых данных. Просто люди не знают, на что смотреть, где «узкие места», узловые точки, проблемности системы – чем обществу угрожает разлад той или иной связки. Что повлечёт за собой переход определённых ракурсов социальной системы в новое качество (скажем, возвращение в страну боевиков – или переизбыток мигрантов) – и так далее.
Социальный организм устроен довольно сложно – но основные связки у него вполне счётные. Да, есть форс-мажоры, есть управленческие команды той или иной степени реализованности (вниз, «в поле», они почти всегда проходят с искажениями – и исполняются несколько иначе, чем рассчитывает планировщик) – есть параллельные «ветви власти» - и их множество – это как различные виды нервной системы в организме – но всё это не мешает функционировать обществу по определённым законам. Продолжая аналогию с организмом – заяц не взлетит и не нырнёт, а хищник не перестроится в травоядное.
- Непонятно. Зайцы какие-то… Ты ваще кто такой? Что это начинается за вангование?
Родом из Перми, русский. 1964. Профессиональный экономист. Ошибался редко. После университета работал в Йошкар-Оле (ЗПП), потом в Запорожье (ЗТЗ). На трансформаторном вёл, по линии профсоюза, пять групп «ликбеза по экономике» - три у ИТР, две у рабочих. Так лекции из чтения вслух учебников - нудной обязаловки, от которой народ всячески пытался отвертеться, перешли в формат аншлаговых лекций, люди записывались заранее, не хватало посадочных мест. Народ пытался понять, что происходит - вокруг рушился Советский Союз - и я, в меру своих возможностей, эти процессы объяснял. Рабочие тётки с тремя, четырьмя детьми, у которых дома куча дел, провожали меня до проходной, продолжая задавать вопросы… Из важного тогда – просчитал дату (месяц) выхода первой республики и первый в Советском Союзе резкий подъём цен (шоковая терапия), предупредив своих слушателей почти за месяц. Причём до этого кружка кваса стабильно стоила три копейки тридцать лет - а почтовая марка четыре.
Спрогнозировать подъём цен в несколько раз после "застоя" - это казалось безумием. Но кто услышал - вовремя купили продукты, и людям это реально очень помогло. Не скажу, что я идеально понимал в то время ситуацию – да и сейчас есть куда улучшаться – но в происходящем ориентировался намного больше, чем другие. Хорошо зарабатывал – но и вкалывал хорошо. Отладил кучу бизнесов; всегда держал слово и никогда не пытался что-то спереть - даже когда "мимо проплывали" десятки тысяч долларов (максимально так проплыло пятьдесят)). Хотя некоторые рабочие схемы с точки зрения ортодоксальной морали были спорными, да и сам абсолютно и никогда не был ботаном - нимба нет и близко)).
Зарабатывал столько, сколько считал необходимым (это не особенно сложно, если понимаешь процессы и видишь возможности), но ориентировался не на максимум денег – а на максимум свободного времени. Тратить время ради избыточных понтов считал неразумным. МНОГО И С УВЛЕЧЕНИЕМ ЧИТАЛ – всю жизнь. В 93 (вовремя) уехал с Украины. В её граждане не попал. Правда, связано это было не с ожиданиями того, что там будет хуже (грядущего ухудшения как раз НЕ чувствовал, база там была действительно как у Франции - да и далеко ещё было до руинного сценария - просто абсолютно понял, что хочу на Родину). Помню, ехал и слушал Шевчука https://ok.ru/video/4368896469 - вот таким и было настроение...
Был готов к кризису 98. О грядущем майдане свою киевскую родню предупредил в сентябре – за три месяца ДО события. Услышали, успели уехать, по нормальной цене жильё продать (давно в Россию собирались). Это всё про то, какой автор молодец в плане прогнозов. И перечислено вроде не так много. Но это расклад по крупным событиям, прямо касающимся обывателя - а они случаются далеко не каждый год. Так что в этом ракурсе попадание было стопроцентным. Сейчас треш пойдёт посерьёзнее, время ускорилось раз в десять. Впрочем, вся автобиография со слов автора, поэтому надо сворачивать, подтверждать свой жизненный путь документами в блоге я не планирую, а стало быть и откровенничать смысла нет… Изменим тактику.
Что это за "вангование"...
Прогноз базируется на субъективной оценке автора, его опыте, статистических и математических компетенциях.
Материал, статистика для прогноза берётся из открытых источников (не жёлтых, разумеется); много «особенностей» присылают неравнодушные читатели; есть несколько экспертных групп (и отдельных экспертов), есть небольшой коллектив, работающий здесь, есть инсайдеры (опять таки, проверенные временем на качество), и всё это сплетается в математические модели развития ситуации (системные). Звучит неплохо, правда? Это самостёб, если что... В реале это около двадцати человек, которые никогда не собираются вместе, но время от времени (еженедельно, часть ежедневно) работают в одном направлении.
Есть МАРКЕРЫ. Выделить их - и правильно сплести наиболее сложная часть задачи. Сейчас их 39 (на старте было 32). Сведённая в единый алгоритм совокупность ОБЪЕКТИВНЫХ показателей экономики (в основном экономики), дающих на выходе неплохой прогностический результат.
Далее. Сейчас перед автором стоит задача рассказать, что такое прогноз (чтобы читатель понял, что это не фуфло)) – и одновременно не рассказывать, что такое прогноз, поскольку выкладывать в открытый доступ технологию, над которой работал много лет (да ещё и защищать её перед троллями, объясняя детали) в мои планы не входит абсолютно.
Поэтому – на примере.
Предположим, что перед нами стоит задача раскроить вероятностями различные итоги результата предстоящей футбольной игры. Спартак (Москва) – Зенит (Питер). Автор ОЧЕНЬ давно не следит за футболом, поэтому если будут ситуативные огрехи – заранее прошу прощения.
Задача НЕЯВНАЯ (условия до конца не сформулированы); не сформулированы и требования к ответу. Мы должны вычислить всё это эмпирически. Приступаем.
Раскроить всё это можно различными уровнями подробностей. То бишь, просто результат матча (победа\поражение\ничья); либо счёт игры; очерёдность голов, если они будут, удаления игроков – и даже всё это в совокупности поминутно. У всего этого существует своя статистическая база (и расчёт несложен; просто вероятность того, что такой-то игрок забьёт на такой-то минуте – невелика. Но и не нулевая – примитивный прикид (реал сложнее) – такой-то за прошлый сезон забил шесть голов, участвовал в шести матчах, был на поле столько-то, вероятность забить гол на конкретной минуте получается (очень грубо) 1\90.
Можно рассчитать даже вероятность форс-мажора – остановки матча, петарды там, или драка на поле, даже теракт на стадионе – просто взяв статистику подобных событий по всему миру – или, что намного точнее, по конкретной стране. В каких-то странах латинской америки дракой чуть ли не каждый десятый матч заканчивается; для европейских стран это нонсенс, но некоторое количество исключений всё равно есть, и посчитать можно.
Далее начинается эвристика - составление алгоритмов. Есть статистика по команде, даже по отдельным игрокам за десятки лет. Что именно брать? Столько-то побед, столько-то ничьих - что с этим делать. Тренер такой-то, потом тренер такой-то...
Развернём иллюстративно самый простой пример – нас интересуют победа\ничья\поражение Спартака. Интуитивно каждый понимает, что победа Спартака в Москве вероятнее, но как это посчитать? Где МАРКЕРЫ события? Что именно считать статистической опорой подобных вероятностей? Как проверить итоговый расчёт? (А он проверяется!)
Сразу решение.
Счётным маркером (иначе – опорной выборкой) у нас будет статистика прошлых игр по обеим командам. Но. Брать надо не всю статистику (не за условные сто лет), а за текущий и прошлый год (в более точном расчёте с определёнными коэффициентами добавляется позапрошлогодний). Берутся не все игры команды, а только соответствующий срез (не товарищеские, не международные – а именно уровень чемпионата). Берутся не все игры чемпионата, а домашние игры – для Спартака – и выездные игры для Зенита; потому как играют команды дома и в гостях совершенно по-разному. И преимущество таких расчётов в том, что нам НЕ НУЖНО ОБЪЯСНЯТЬ СТАТИСТИЧЕСКИЙ ФЕНОМЕН ЭТОЙ РАЗНИЦЫ.
С точки зрения формальной логики сие странно; поле такое же, игроки те же, но поддержка трибун является абсолютно счётным, реальным фактором, хотя «потрогать» её невозможно. Нам достаточно констатировать, что феномен есть – и в статистике он отражён. Нам даже не нужно учитывать «договорные» матчи, или там, применение игроками допинга. Всё это было (если было) и прежде, и ТОЖЕ ОТРАЖЕНО В СТАТИСТИКЕ. Нам не важно, с игры или по договорённости был получен результат. Это расчёт вероятности результата, а не текст за чистоту футбола. Дополнительным маркером являются прошлые личные встречи в таких же условиях – их результат «удваивается». После чего мы имеем рабочую выборку – к примеру, Зенит в прошлом и текущем сезоне - на выезде 16 игр, 9 поражений, 3 ничьих и 4 победы. (Числа от фонаря, не нужно ни с чем сверяться)). При этом прошлая встреча со Спартаком в Москве закончилась вничью. Итого 9 шансов на проигрыш, 3+1=4 на ничью, 4 на победу. Спартак, условно, 17 игр в прошлом и текущем сезонах в Москве. Из них 10 побед, 5 ничьих, 2 поражения – причём одна из этих игр вничью – в прошлом сезоне, та же самая, именно с Зенитом «удваивается». Итого десять шансов на победу, 5+1=6 на ничью, 2 на поражение. Итого общее «пространство статистических возможностей» составит 35 единиц; из них на победу москвичей 9+10=19 шансов; на ничью 4+6=10 шансов; на победу питерцев 4+2=6 шансов. Соответственно, 19\35; 10\35 и 6\35. Переводим в десятичные дроби.
ТОЧНАЯ раскладка вероятностей – 0.54 \\ 0.29 \\ 0.17
Зашибись. Ну, вроде как убедительно. Если вникнуть. Действительно, числа обоснованы. Но, может, надо ещё какие-то факторы учесть? Болезнь тренера, махание какого-нибудь Кокорина табуреткой, погоду на матче – ну, мало ли?
Разумеется. ЛЮБАЯ МОДЕЛЬ НЕ ПОЛНА – потому она и называется моделью. Можно учитывать бесконечное количество факторов, во всех смыслах стул Кокорина, вплетая в расчёт всё новые детали – но с какого-то момента громоздкость расчёта, вероятность алгоритмической ошибки начнёт перекрывать полезность уточнений – и эту грань нужно чувствовать.
Допустим. А если учитывать игры чётко за два календарных года – а не текущий и прошлый сезон? Не станет ли модель от этого точнее?
Вполне возможно. Это немножко другой алгоритм. И ТОЖЕ РАБОЧИЙ. Расклад вероятностей при таком расчёте будет похож, но не совпадёт.
Зашибись два. И какой же из расчётов правильный?
Оба правильные. И есть ещё несколько алгоритмов – и среди них тоже будут правильные. Это как на одну гору с разных сторон забираться, к одному результату движешься различными путями. Но ОСНОВНОЙ БОНУС подобных алгоритмов – ОНИ ЛЕГКО ПРОВЕРЯЮТСЯ.
Это как, автор? Тут как игра не закончится – ты всё время угадал. Нулевых-то вероятностей у тебя в расчёте нет. Скажешь, не повезло, или ещё там чего-нибудь скажешь…
Нулевых вероятностей нет, потому как их и в примере нет. Ни один разумный человек не поставит на победу спартака миллион к одному. При этом - на эмоциях - поставить можно; и можно даже выиграть эту единичку - вот только разумны ли были риски?
А проверяется всё элементарно. Берётся тот же алгоритм со статистикой, смещенной в прошлое на одну игру. Вот не знаешь ты якобы результатов последнего круга. И обсчитывается по прошлой, соответственно, статистике. Задаётся порог погрешностей, который нас устраивает. Обсчитывается ожидаемый результат по тем же формулам – и сравнивается с уже известным. Записывается. Отступаем (статистически) – на две игры, два круга. Повторяем процесс. Снова записываем расхождения с наиболее вероятным по расчёту итогом. Повторяем процесс отступив на три игры – и так далее. Можно и сто раз проверить – и будет прекрасная выборка ПО ФАКТУ – как работает алгоритм. И можно также проверить второй, "предложенный" моим воображаемым оппонентом (со статистикой за два календарных года). И можно добавить сюда, к примеру, погоду – и снова пересчитать, и посмотреть, стала ли модель лучше (или просто усложнилась) – и так далее. Это может показаться сложным только пока ты проверяешь алгоритмику. Потом – числа подставил, кнопку нажал – и вот результат, пользуйся.
Именно так и обточена связка основных маркеров с событиями в мире. Предположительная корреляция (её надо уловить эвристически) либо подтверждается статистикой – либо идёт на уровне погрешности – и маркер не включается в расчёт.
Тому, кто дочитал эту заумную нудотину – премию и булочку)).
Не все маркеры сплетены подобным образом; некоторые вообще учитываются в режиме выкл\вкл; но суть, я думаю, читатель понял. Эмоций в расчёте нет. Чистая математика. МОДЕЛЬ; которая всегда даёт определённую погрешность – но которая прошла определённые к этой погрешности требования ещё на обкатке.
Далее.
Думаю, что просчитанное событие (процесс) в прогнозе должно быть ЧЁТКО ОБОЗНАЧЕНО – и исключать многозначные трактовки фраз. Должны быть указаны и сроки, и вероятности его наступления. Только тогда мы будем иметь серьёзную статистику, с которой в дальнейшем можно работать. Иначе – как в большинстве гороскопов – застёгнуто что-то психологически неопределённое, каждый знак размазывает это под себя – и со всеми вроде как чутка угадали. Так, конечно, «работать» легче, но это хрень, а не прогноз. Наша задача - выдать потребителю продукт если не стопроцентный (это абсолютно невозможно) – то хотя бы 80 на 20.
Ещё раз - будет выделена ПРОГНОЗНАЯ, СОБЫТИЙНАЯ, КОНКРЕТНАЯ ЧАСТЬ. При этом сами события не гарантируются - "в Багдаде всё спокойно" - это тоже событие.
Далее.
Просчитываются не "голы и минуты", не фамилии игроков, а результат матча. Реже (и с меньшей вероятностью) можно предсказать счёт. Можно сделать какие-то предположения по поводу того, "кто забьёт", но здесь вариабельность ещё выше. А уж точную дату (минуту)\ событийную аранжировку в конкретике... Это уже действительно вангование.
Приведу пример из прошлого. В 2018 предсказывал - здесь, в этом блоге, что в 2020 запустят форс-мажор, который поможет схлопнуть финансовые пузыри. Там девять прогнозов в двух абзацах было, все девять сбылись, уже писал об этом. (Потому и писал, что сбылись все до единого - как такое пропустишь))). Но всё равно косяки обозначились - я считал, что активируют сейсмику - а пандемия прописана запасным вариантом - а в реале вышло наоборот, активировали пандемию, а погодные аномалии и сейсмику пока "прокачивают".
В конце прошлого года писал, что в ближайшие 10 дней будет теракт (инфоповод, который раскрутят как теракт) - и на следующей неделе Запад поднял на флаг трусы Навального. Там понятно было, что будет инфоповод - отвлечение, но ЧТО ИМЕННО предсказать я бы не смог и близко. Это могла быть плюха в сторону Пакистана или Ирана, или Китая - но отработали против нас, тем до сих пор на слуху, но читателю "не зашло" - обвинили-то Россию...
В общем, тема работает - но улучшаться есть куда.
Вопрос, нужно ли это? Каждый следующий уровень детализации требует очень много времени. Окружающих меня людей точность уже вполне устраивает - основной событийный ряд отслеживается неплохо.
Это был, так сказать, набросок из нашей «кухни».
