Математические методы прогнозирования (кафедра ВМиК МГУ). Краткий обзор ведущих программ математического моделирования - Matlab

Юрашев Виталий Викторович к. ф.-м. н., научный руководитель фирмы «Градиент»

Шелест Игорь Владимирович системный архитектор «Инфосистемы Джет»

Прогноз в бизнесе важен из-за возможного использования его для эффекта стабилизации. Разумные прогнозы побуждают людей действовать более рационально и предупреждают их «сверхреакцию» в сторону пессимизма или оптимизма. Хороший прогноз обеспечивает фирме принятие рациональных решений относительно производимых фирмой товаров или услуг. Отсутствие прогноза заставляет руководство фирмы предпринимать излишние меры предосторожности.

Методы прогноза обычно требуют больших затрат времени и денег. Однако бизнесмен нуждается в методах, которые не требуют сложных умозаключений в повседневной работе и могут быть представлены в виде программ. Необходимо найти методы прогнозирования без детального индивидуального анализа. К тому же желательно, чтобы знания ситуации на рынке, которыми обладают люди, постоянно работающие на нем, были использованы в подобных моделях.

Поскольку прогнозирование является трудной проблемой, то очевидно, что фирма должна иметь несколько серий прогнозов, отличных от простого описательного прогноза. Это поможет принимать более решительные действия, результатом которых является рост прибыли, повышение эффективности работы организации и роста ее престижа.

Исходные данные для составления прогноза с использованием временных рядов обычно представляют собой результаты выборочных наблюдений переменных - либо интенсивности (например, спрос на продукцию), либо состояния (например, цена). Решения, которые должны приниматься в данный момент, скажутся в дальнейшем по прошествии некоторого промежутка времени, величина которого может быть прогнозируемой.

Временные ряды представляют собой упорядоченные во времени данные. В соответствии с этим мы будем впредь обозначать период времени через t, а соответствующее ему значение данных через y(t). Отметим, что членами временного ряда являются либо суммы, либо числовая информация, полученная в определенный момент времени. Например, сумма недельных продаж в магазине, получаемая в конце каждой недели в течение года, образует временной ряд.

Тренд означает общее направление и динамику временного ряда. В этом определении ударение делается на понятии «общее направление», поскольку основную тенденцию необходимо отделить от краткосрочных колебаний, представляющих собой циклические и сезонные колебания. Примеры циклических колебаний: цены на промышленное сырье, курсы акций, объемы продаж в оптовой и розничной торговле и др. Сезонные колебания встречаются во временных рядах, описывающих продажи, производство, занятость и др. Важную роль в сезонных колебаниях играют погодные условия, мода, стиль и т. д. Особо отметим, что нерегулярные или случайные колебания временных рядов не подчиняются никакой закономерности и не существует теории, способной предсказать их поведение.

С точки зрения выработки правильного решения руководством фирмы, включение периодических (циклических и сезонных) колебаний в общую модель может повысить эффективность прогноза и позволит предсказать ожидаемые высокие и низкие значения прогнозируемых переменных. При этом нужно иметь в виду, что «деловые» или экономические циклы нельзя воспроизвести с точностью, позволяющей на практике делать выводы о будущих подъемах и спадах, исходя из анализа прошлого.

В работе представлены линейный, циклический и «экспоненциальный» тренды. Несколько слов об экспоненциальном тренде. Анализ жизненного цикла товаров, услуг, инноваций и размышления о процессах, происходящих вокруг, показали, что модель развития и гибели биологических систем является эффективным инструментом для изучения многих явлений в бизнесе. Причем как и в бизнесе, показатели функционирования биологической системы во времени не линейны на всех этапах ее развития. Были промоделированы упомянутые выше жизненные циклы, и было установлено, что их эластичность по времени является линейной функцией. Коэффициенты этой функции позволяют учитывать не только нелинейные механизмы жизненных циклов, но и прогнозировать их появление. В результате мы получили тренд,который назвали «экспоненциальным», поскольку в него входит временная экспонента.

Рассмотрим временной ряд y(1), y(2),...(y(i),...y(T). Требуется представить функцию, для которой задан этот ряд, тригонометрическим полиномом. Периодические компоненты полинома неизвестны. Достоинство такой модели состоит в том, что она обеспечивает стабильность прогноза за счет перебора частот. Коэффициенты вычисляются с использованием всего набора данных.

На практике подобная модель оказывается сложной для пользователя. Поэтому была разработана компьютерная программа. Проверка на соответствие предыстории проводится по методу наименьших квадратов (см.: Таха А. Исследование операций. М.: Вильямс, 2005). Во многих случаях изменения в изучаемом процессе можно предвидеть заранее и включить их в представленную модель прогноза. Ведь опытные руководители могут предсказать характер изменений. В программе заложено согласование трендов за счет оптимального выбора частот в представленном ряде. Для корректировки прогноза можно варьировать не только тренды, но и учитывать результаты субъективного прогноза.

Будем искать тренд в виде: Y(t) = C + Asin(wt) + Bcos(wt).

Поскольку значения этой функции в точках 1, 2, ... Т известны, то мы получаем систему из Т линейных уравнений относительно коэффициентов А, В, С, w - параметр.

Решаем эту систему методом наименьших квадратов (Т>3) и получаем значения коэффициентов А, В, С, зависящих от w. Необходимо выбрать значения w таким образом, чтобы значения тренда наилучшим образом приближались бы к значениям временного ряда. Оптимизация проводится методом последовательных приближений. Первоначальное значение w, которое является началом последовательных приближений, находится по формулам, представленным, например, в справочнике по математике авторов Г. Корн, Т. Корн, (М.: Наука, 1989. Гл. 20).

Вычитаем из фактических (т. е. заданных изначально в виде членов временного ряда) значений y(1), y(2),...y(i),....y(t) найденные теоретические значения y(t) в моменты времени t =1, 2,...,i,...Т. Для полученных данных (считая их фактическими, т. е. членами временного ряда) повторяем указанную выше процедуру.

Точность прогноза 1-3%, колеблется иногда до 5-10%. Все зависит от наличия шумов, которые могут существенно повлиять на прогноз. Если ретроспективный ряд большой, то программа хорошо выделяет регулярные составляющие процесса. При незначительном временном ряде ретроспективы (до 5-8 значений) нужно пользоваться экспоненциальным сглаживанием. В основе метода экспоненциального сглаживания лежит скользящая средняя. Но он устраняет недостаток метода скользящей средней, который состоит в том, что все данные, используемые для вычисления среднего, имеют одинаковый вес. В частности, метод экспоненциального сглаживания присваивает больший весовой коэффициент самому последнему наблюдению. Он, также как и метод, представленный в этой работе, особенно эффективен при прогнозе временных рядов с циклическими колебаниями без сильных случайных колебаний (см.: Таха А. Исследование операций).

Приведем пример расчета прогнозируемого объема продаж (табл. 1, 2).

Таблица 1. Исходные данные

Таблица 2. Расчет прогноза с использованием синусоидального тренда

Результаты расчета представлены в виде графиков на рисунке 1(теоретическая функция – черный штрих, исходные данные – черный цвет, тренд – серый цвет).

Рис. 1. Расчет прогнозируемого объема продаж по синусоидальному тренду

Приведем пример использования экспоненциального тренда для расчета прогноза сбыта.

В данном примере рассмотрено изменение объема продаж во время и после рекламной кампании (табл. 3, 4).

Таблица 3. Исходные данные

Таблица 4. Расчет прогноза с использованием экспоненциального тренда

Результаты расчета представлены в виде графиков на рисунке 2 (теоретическая функция - серый штрих, исходные данные - черный цвет, тренд - серый цвет).

Рис. 2. Расчет прогнозируемого объема продаж по экспоненциальному тренду

Разработанный нами программный продукт, адаптированный для работы в конкретных условиях, обладает универсальностью, надежностью и устойчивостью к изменению условий. Кроме того, и это существенно, можно увеличить число решаемых задач. Так, например, при прогнозировании объемов продаж можно решить проблему влияния каждого показателя (рекламы, выставок, интернета) на величину прибыли.

Одно из достоинств проекта - его дешевизна. Поэтому можно сравнить получаемые результаты с теми, которые были получены другими методами. Их различие даст повод руководству провести более глубокие исследования.

Программа проста в применении, достаточно ввести в программу необходимые данные из информационного поля. Единственная трудность может быть в получении анкетных данных. Трудности возникают при создании информационного поля, в котором предстоит работать.

Здесь все зависит от условий, в которых должны быть получены данные (в полевых или лабораторных). Возможности экспертов построить квазиинформационное поле упрощают работу на предварительном этапе исследования, однако при этом теряется «полевая» изюминка проекта.

Ценность проекта также в мобильности решения поставленных задач, быстрой реакции на изменения окружающей среды, легкой коррекции изменений и дополнений при работе над конкретной задачей.

Математические методы прогнозирования могут разрабатываться на основе различных функций, динамических рядов и аналитических зависимостей. Для математического моделирования и прогнозирования валютных рынков в качестве входной информации могут выступать как ценовая динамика и ее производные (значения индикаторов, значимые уровни и т.п.), так и рыночные макроэкономические показатели . В математических моделях прогнозирования финансовых временных рядов в качестве входной информации используется ценовая динамика. Однако иначе происходит работа с информационными моделями временных рядов, которые являются описаниями объектов-оригиналов с помощью схем, графиков, формул, чертежей и т.п. Одним из важнейших видов информационного моделирования является математическое, когда описания формулируются на языке математики. Соответственно, и исследование таких моделей ведется с использованием математических методов.

Математически задача прогнозирования валютного курса может быть сведена к задаче аппроксимации многомерных функций и, следовательно, к задаче построения многомерного отображения. В зависимости от типа выходных переменных аппроксимация функций может принимать вид: классификации или регрессии. Следовательно, в моделях прогнозирования валютных курсов можно выделить две крупные подзадачи: 1. построение математической модели; 2ю обучение экспертных сетей, реализующих решение задачи. В результате изучения предметной области должна быть разработана математическая модель прогнозирования, включающая набор входных переменных; метод формирования входных признаков и метод обучения экспертной системы.

Аналитические зависимости

Рассмотрим особенности модели прогнозирования на базе аналитических зависимостей.

Данная модель строится на основе анализа механизма образования валютного курса. Вид формулы в данном случае будет зависеть от характера и вида взаимодействующих факторов, влияющих на формирование валютного курса. За основу модели берется гипотеза о паритете покупательной способности . Далее в процессе рассмотрения реальных экономических систем добавятся новые факторы, и обобщенная модель выберет основные факторы, влияющие на образование валютного курса.

Повышение эффективности краткосрочных операций с валютой - одна из важных задач в деятельности банков и других инвесторов, которые продают и покупают различные валюты в значительных объемах, стремясь придать движение имеющимся в наличии свободным резервам, чтобы избежать потерь от конъюнктурных колебаний курсов и получить дополнительную прибыль. Причем валютные операции осуществляются с большой скоростью через Internet, так как очень важно выйти на валютный рынок с предложением раньше конкурентов. Все это – составная часть непрерывного процесса формирования оптимальной структуры валютных резервов.

Эффективность валютных операций существенным образом зависит от надежности прогнозов колебания курсов валют. Именно поэтому краткосрочное прогнозирование курсов имеет большое практическое значение для оперативной деятельности банков и прочих инвесторов. А вопрос о возможности применения статистических методов для этой цели представляется актуальным и естественным. Проблема краткосрочного прогнозирования курсов валют с применением статистических моделей рассматривается исходя из того, что для успешного ведения валютных операций требуется получение прогнозов на одни сутки вперед. Как, например, в фильме «Пи» математик Макс Коэн в течение многих лет пытается найти и расшифровать универсальный цифровой код, согласно которому изменяются курсы всех . По мере приближения к разгадке, мир вокруг Макса превращается в мрачный кошмар: его преследуют могущественные аналитики с Уолл-стрит, чтобы обнаружить код вселенского мироздания. Находясь на грани безумия, Макс должен сделать решающий выбор между порядком и хаосом и решить, способен ли он совладать с могущественной силой, которую сейчас пробудил его гениальный разум. Но это – фантастика. В реальности не тяжкий труд, а ход мысли определяет инвестиционный доход, при этом для оценки эффективности идеи может служить только адекватное математическое моделирование.

Адаптивные методы прогнозирования

Трудно провести четкую грань, отделяющую адаптивные методы прогнозирования от неадаптивных. Уже прогнозирование методом экстраполяции обычных регрессионных кривых содержит некоторый элемент адаптации, когда с каждым новым получением фактических данных параметры регрессионных кривых пересчитываются и уточняются. Через достаточно большой промежуток времени может быть заменен даже тип кривой. Однако здесь степень адаптации весьма незначительна; к тому же с течением времени она падает вместе с увеличением общего количества точек наблюдения и соответственно с уменьшением в выборке удельного веса каждой новой точки.

Последовательность процесса адаптации выглядит следующим образом. Пусть модель находится в некотором исходном состоянии, и по ней делается прогноз. Когда истечет одна единица времени (шаг моделирования), анализируем, насколько далек результат, полученный по модели, от фактического значения ряда. Ошибка прогнозирования через обратную связь поступает на вход системы и используется моделью в соответствии с ее логикой для перехода из одного состояния в другое с целью большего согласования своего поведения с динамикой ряда. На изменения ряда модель должна отвечать компенсирующими изменениями. Затем делается прогноз на следующий момент времени, и весь процесс повторяется. Таким образом, адаптация осуществляется интерактивно с получением каждой новой фактической точки ряда. Однако каковы должны быть правила перехода системы от одного состояния к другому, какова логика механизма адаптации?

В сущности, этот вопрос решается каждым исследователем интуитивно. Логика механизма адаптации задается априорно, а затем проверяется эмпирически. При построении, модели мы неизбежно наделяем ее врожденными свойствами и, вместе с тем, для большей гибкости должны позаботиться о механизмах условных рефлексов, усваиваемых или утрачиваемых с определенной инерционностью. Их совокупность и составляет логику механизма адаптации. В силу простоты каждой отдельно взятой модели и ограниченности исходной информации, зачастую представленной единственным рядом, нельзя ожидать, что какая-либо одна адаптивная модель годится для прогнозирования любого ряда, любых вариаций поведения. Адаптивные модели достаточно гибки, однако на их универсальность рассчитывать не приходится. Поэтому при построении и объяснении конкретных моделей необходимо учитывать наиболее вероятные закономерности развития реального процесса, динамические свойства ряда соотносить с возможностями модели. Необходимо закладывать в модель те адаптивные свойства, которых хватит для слежения модели за реальным процессом с заданной точностью.

Вместе с тем нельзя надеяться на успешную самоадаптацию модели , более общей по отношению к той, которая необходима для отражения данного процесса, ибо увеличение числа параметров придает системе излишнюю чувствительность, приводит к ее раскачке и ухудшению получаемых по ней прогнозов. Таким образом, при построении адаптивной модели приходится выбирать между общей и частной моделью и, взвешивая их достоинства и недостатки, отдавать предпочтение той, от которой можно ожидать наименьшей ошибки прогнозирования. Поэтому необходимо иметь определенный запас специализированных моделей, разнообразных по структуре и функциональным свойствам. Для сравнения возможных альтернатив необходим критерий полезности модели. Несмотря на то, что в общем случае такой критерий является предметом спора, в случае краткосрочного прогнозирования признанным критерием обычно является средний квадрат ошибки прогнозирования. О качестве модели судят также по наличию автокорреляции в ошибках. В более развитых системах процесс проб и ошибок осуществляется в результате анализа как последовательных во времени, так и параллельных (конкурирующих) модификаций модели .

Краткосрочное прогнозирование валютного курса

Информация о динамике курсов валют создает впечатление хаотического движения: падение и рост курсов сменяют друг друга в каком-то случайном порядке. Даже если за большой интервал времени отмечается тенденция, например, к росту, то на графике легко можно увидеть, что эта тенденция прокладывает себе путь через сложные движения временного ряда курса валюты . Направление ряда все время меняется под воздействием нерегулярных и часто неизвестных сил. Исследуемый объект в полной мере подвержен воздействию стихии мирового рынка, и точной информации о будущем движении курса нет. Необходимо сделать прогноз. При этом совершенно очевидно, что прогнозировать даже знак прироста курса очень сложно . Делать это обычно поручают экспертам, которые анализируют текущую конъюнктуру, а также пытаются выделить факторы, регулярным образом связанные с движением курса (фундаментальный анализ). При построении формальных моделей также пытаются выделить круг существенных факторов и на их основе сконструировать какой-либо индикатор, но ни эксперты-практики, ни формальные методы не дают пока хороших устойчивых результатов. Полагаем, объясняется это, прежде всего, тем, что если и есть действительно какой-либо круг факторов, влияющих стабильным образом на курс, то их воздействие надежно скрыто наложенной случайной составляющей и управляющими воздействиями .

В результате эти факторы и их влияние выделить довольно трудно. Поэтому необходимо считать краткосрочное прогнозирование курса по существу задачей прогнозирования последовательного движения изолированного временного ряда, причиной которого является главным образом массовое поведение на валютном рынке мелких и крупных финансовых игроков, совершающих основной объем финансовых операций с валютой. Такой подход можно отнести к . Конечно, отдельно взятый участник валютной игры волен совершенно произвольно менять свою стратегию. И все же можно предположить, что поведение всей массы участников через соотношение спроса и предложения, влияющее на курс валюты, обладает в текущий период времени какой-то определенной доминирующей логикой, обнаруживающейся через закон больших чисел. Например, при падении курса валюты ее могут скупать, ожидая в дальнейшем повышения курса. И такой массовый спрос валюты действительно ведет к росту ее курса. Или наоборот, если после падения курса валюты доверие к ней падает и ожидается ее дальнейшее обесценение, то преобладает массовое предложение и курс падает еще ниже. Заметим, что при таком упрощенном подходе саму динамику временного ряда можно прочитать как хронологическую запись о массовом поведении участников валютного рынка. Это дает возможность при построении модели исходить из самого ряда, не привлекая дополнительной информации, а все рассуждения о массовом поведении участников рынка использовать лишь для качественной интерпретации. Если бы удалось найти в динамике ряда хотя бы краткосрочные закономерности, реализующиеся с вероятностью более 50%, то это дало бы основания рассчитывать на успех. Тогда стало бы возможным применение статистических методов для прогнозирования курсов, улавливающих более или менее устойчивые отношения последовательных событий временного ряда .

В данном случае ставится следующая задача. Во-первых, выяснить применимость для краткосрочного прогнозирования валютных курсов каких-либо статистических методов, назначение которых – описывать повторяющиеся события или ситуации, характеризующиеся относительно устойчивыми связями. Во-вторых, если статистические методы применимы для решения поставленной задачи, то установить их наиболее перспективный класс, указать характерные особенности этих методов, особое внимание уделить простейшим из них. В-третьих, показать на примере практические результаты. Отметим, что вопросам прогнозирования курсов валют всегда уделялось большое внимание. Из публикаций на близкую тему укажем, например, работу К. Гренжера и О. Моргенштерна (Granger Clive W.J., Morgenstern Oscar. Predictability of stock market prices. Massachusetts, 1970), в которой исследуется динамика курсов акций и приведена обширная библиография. В этой монографии фактически сделан вывод о том, что если и есть какая-либо в рядах подобного рода, то наиболее вероятно, что она имеется между смежными приростами курсов. Однако возникает вопрос, не пытаемся ли мы прогнозировать совершенно случайные колебания курсов валют. Ответ на этот вопрос находится в специальном исследовании .

Современное прогнозирование

Новый взгляд на роль прогнозирования утвердился как обязательный элемент процесса принятия решения. Логическим следствием усиления роли прогнозирования явилось повышение требований к обоснованности и надежности прогнозных оценок. Однако уровень соответствия аппарата современной прогностики этим новым требованиям остается чрезмерно низким. Даже применение адаптивных моделей, с помощью которых удается, как правило, достичь необходимого уровня адекватности в описании прогнозируемых процессов, только частично решает проблему повышения надежности. Современная экономика порождает процессы со столь сложной динамикой, что идентификация ее закономерностей аппаратом современной прогностики часто оказывается неразрешимой задачей. Совершенствование этого аппарата, прежде всего, нуждается в новых идеях и новых подходах, на основе которых возможна реализация механизмов и способов отражения динамики, формируемой под воздействием эффектов, возможность появления которых в будущем не обнаруживается в данных исторического периода. Возникает явное противоречие, преодоление которого будет способствовать формированию нового взгляда на прогнозирование как упреждающее отражение в вероятностной среде представления об исследуемом процессе в виде траектории, построенной на основе объективных тенденций и субъективные ожидания.

В рамках экономического прогнозирования развитие адаптивного подхода происходит по трем направлениям. Первое из них ориентировано, в основном, на усложнения адаптивных прогнозных моделей. Идея второго направления состоит в совершенствовании адаптивного механизма моделей прогнозирования. В третьем направлении реализуется подход совместного использования адаптивных принципов и других методов прогнозирования, в частности, имитационного моделирования. Разработке адаптивно-имитационных моделей посвящены труды В.В. Давниса .

Развитие рынка определяется , но также верно и обратное – фундаментальные факторы определяются рынком , т.е. поведением участников рынка, их оценками и ожиданиями. При этом умение давать правильную оценку развитию рыночных ситуаций зависит от способности предвосхищать превалирующие ожидания участников рынка, а не от способности прогнозировать изменения в реальном мире . Поэтому идеи развития математического аппарата прогнозирования не в достаточной степени учитывают свойства активности экономических систем, что снижает даже при высокой интерполяционной точности уровень правдоподобности прогнозных оценок. В то же время прогнозы, основанные только на субъективной информации, ориентированы на предсказание качественных характеристик, и поэтому их использование возможно только в специальных случаях. Это выводит на первый план проблему построения прогнозов на основе комбинирования экстраполяционных и субъективных оценок. Проводились исследования в данной области, однако анализ результатов этих исследований показал преобладание в них творческого характера, что свидетельствует, по сути, о начальном уровне разработанности проблемы построения комбинированных прогнозов.

Литература

1. Соболев В.В. Валютный дилинг на финансовых рынках/ Юж.-Рос. гос. техн. ун-т (НПИ). – Новочеркасск, 2009. – 442 с.
2. Лукашин Ю. П. Адаптивные методы краткосрочного прогнозирования временных рядов: Учеб. пособие. – М.: Финансы и статистика, 2003. – 416 с.
3. Давнис В.В., Тинякова В.И. Адаптивные модели: анализ и прогноз в экономических системах. – Воронеж: Изд-во Воронеж. гос. ун-та, 2006.– 380 с.
4. Мишкин Ф. Экономическая теория денег, банковского дела и финансовых рынков: Учебное пособие для вузов/ Пер. с англ. Д.В. Виноградова под ред. М.Е. Дорошенко. – М.: Аспект Пресс, 1999. – 820 с.
5. Лукашин Ю.П. О возможности краткосрочного прогнозирования курсов валют с помощью простейших статистических моделей // Вестник МГУ. -1990. — Сер. 6. Экономика. -№ 1.-С. 75-84.
6. Соболев В.В. Финансисты/ Юж.-Рос. гос. техн. ун-т (НПИ).–Новочеркасск, 2009.–315 с.
7. Сорос Дж. Алхимия финансов: Пер.с англ. – М.: “Инфра-М”, 1996. – 416 с.

Fortrader Suite 11, Second Floor, Sound & Vision House, Francis Rachel Str. Victoria Victoria, Mahe, Seychelles

Вопрос № 25. Математические методы прогноза .

Методы прогнозирования – научное предвидение, основанное на анализе фактических данных прошлого и настоящего исследуемого объекта. Совокупность специальных правил, приемов и методов составляет методику прогнозирования. Прогноз в системе управления является предплановой разработкой многовариантных моделей развития объекта управления. К основным методам прогнозирования относятся: экономико-математические, аналоговые, экспертные др. ^ Экономико-математические методы прогнозирования :

линейное программирование, позволяющее сформулировать оптимизационную задачу в виде линейных ограничений (неравенств или равенств) и линейной целевой функции;

динамическое программирование, рассчитанное на решение многоступенчатых оптимизационных задач;

целочисленное программирование, позволяющее решать оптимизационные задачи, в том числе задачи оптимального распределения ресурсов, при дискретных (целочисленных) значениях переменных и др.;

вероятностные и статистические модели – реализуются в методах теории массового обслуживания;

теория игр – моделирование таких ситуаций, принятие решения в которых должно учитывать несовпадение интересов различных подразделений;

имитационные модели – позволяют экспериментально проверить реализацию решений, изменить исходные предпосылки, уточнить требования к ним.

Паттерн (PATTERN – Planning Assistance Through Technical Evaluation Relevance) – методика разработана в 1963 г., применяется при планировании научно-исследовательских и опытно-конструкторских разработок в условиях неопределенности (т.е. в сложных, противоречивых системах). Основные элементы структуры паттерна: выбор объекта прогноза; выявление внутренних закономерностей объекта; подготовка сценария; формулирование задачи и генеральной цели прогноза; анализ иерархии; формулирование целей; принятие внутренней и внешней структуры; анкетирование; математическая обработка данных анкетного опроса; количественная оценка структуры; верификация; разработка алгоритма распределения ресурсов; распределение ресурсов; оценка результатов распределения. Методика позволяет получить предпрогнозную ориентацию, сформировать внутреннюю структуру объекта («дерево целей»), внешнюю структуру (систему локальных критериев), разработать варианты ресурсного обеспечения элементов объекта.

Метод изыскательского прогнозирования.

Одним из основных методов, используемых в изыскательском прогнозировании, является экстраполяция временных рядов – статистических данных об интересующем нас объекте. Экстраполяционные методы основаны на предположении о том, что закон роста, имевший место в прошлом, сохранится и в будущем, с учетом поправок из-за возможного эффекта насыщения и стадий жизненного цикла объекта. К числу кривых, достаточно точно отражающих изменение прогнозируемых параметров в ряде распространенных ситуаций, является экспонента, то есть функция вида: y=a*ebt, где t-время, a и b-параметры экспоненциальной кривой. К числу наиболее известных экспоненциальных кривых, используемых при прогнозировании можно отнести кривую Перла, выведенную на основании обширных исследований в области роста организмов и популяций, и имеющую вид: Y = L/(1+a*(e-bt), где L -верхний предел переменной y.

Не менее распространена кривая Гомперца, выведенная на основании результатов исследований в области распределения дохода и уровня смертности (для страховых компаний), где k-также параметр экспоненты.

Кривые Перла и Гомперца использовались при прогнозе таких параметров, как возрастание коэффициента полезного действия паровых двигателей, рост эффективности радиостанций, рост тоннажа судов торгового флота и т.д. Как кривая Перла, так и кривая Гомперца могут быть отнесены к классу так называемых S-образных кривых. Для таких кривых характерен экспоненциальный или близкий к экспоненциальному рост на начальной стадии, а затем при приближении к точке насыщения они принимают более пологий вид.

Многие из упомянутых процессов могут быть описаны с помощью соответствующих дифференциальных уравнений, решением которых и являются кривые Перла и Гомперца. В качестве примера можно привести дифференциальное уравнение, описывающее приращение объема информации (знания) I в зависимости от числа исследователей N, среднего коэффициента продуктивности одного исследователя q в единицу времени t и С- постоянного коэффициента, характеризующего динамики изменения объема информации.

При экстраполяции используются регрессионные и феноменологические модели. Регрессионные модели строятся на базе сложившихся закономерностей развития событий с использованием специальных методов подбора вида экстраполирующей функции и определения значений её параметров. В частности, для определения параметров экстраполирующей функции может быть использован метод наименьших квадратов.

Предполагая использование той или иной модели экстраполирования, того или иного закона распределения, можно определить доверительные интервалы, характеризующие надежность прогнозных оценок. Феноменологические модели строятся исходя из условий максимального приближения к тренду процесса, с учетом его особенностей и ограничений и принятыми гипотезами о его будущем развитии.

При многофакторном прогнозе в феноменологических моделях можно присваивать большие коэффициенты весомости факторам, которые в прошлом оказывали большее влияние на развитие событий в прошлом.

Если при прогнозировании рассматривается ретроспективный период, состоящий из нескольких отрезков времени, то, в зависимости от характера прогнозируемых показателей, менее удаленных от момента прогнозирования по шкале времени и т.д. Также должен быть учтен тот факт, что нередко при прогнозировании оценки экспертов относительно близкого будущего могут отличаться излишним оптимизмом, а оценки относительно более отдаленного будущего излишним пессимизмом.

Если в прогнозируемом процессе может участвовать несколько различных технологий, каждая из которых представлена соответствующей кривой, то в качестве результирующей экспертной кривой может быть использована огибающая частных кривых, соответствующих отдельным технологиям.

Метод сценариев.

При разработке управленческих решений широкое распространение нашел метод сценариев, также дающий возможность оценить наиболее вероятный ход развития событий и возможные последствия принимаемых решений. Разрабатываемые специалистами сценарии развития анализируемой ситуации позволяют с, тем или иным уровнем достоверности определить возможные тенденции развития, взаимосвязи между действующими факторами, сформировать картину возможных состояний, к которым может прийти ситуация под влиянием тех или иных воздействий. Профессионально разработанные сценарии позволяют более полно и отчетливо определить перспективы развития ситуации, как при наличии различных управляющих воздействий, так и при их отсутствии.

С другой стороны, сценарии ожидаемого развития ситуации позволяют своевременно осознать опасности, которыми чреваты неудачные управленческие воздействия или неблагоприятное развитие событий.

В настоящее время известны различные реализации метода сценариев такие, как: получение согласованного мнения, повторяющаяся процедура независимых сценариев, использование матриц взаимодействия и др. Метод получения согласованного мнения является, по существу, одной из реализаций метода Делфи, ориентированной на получение коллективного мнения различных групп экспертов относительно крупных событий в той или иной области в заданный период будущего. К недостаткам этого метода можно отнести недостаточное внимание, уделяемое взаимозависимости и взаимодействию различных факторов, влияющих на развитие событий, динамике развития ситуации.

Метод повторяющегося объединения независимых сценариев состоит в составлении независимых сценариев по каждому из аспектов, оказывающих существенное влияние на развитие ситуации, и повторяющемся итеративном процессе согласования сценариев развития различных аспектов ситуации.

Достоинством этого метода является более углубленный анализ взаимодействия различных аспектов развития ситуации.

К его недостаткам можно отнести недостаточную разработанность и методическую обеспеченность процедур согласования сценариев.

Метод матриц взаимовлияний, разработанный Гордоном и Хелмером, предполагает определение на основании экспертных оценок потенциального взаимовлияния событий рассматриваемой совокупности.

Оценки, связывающие все возможные комбинации событий по их силе, распределению во времени и т.д., позволяют уточнить первоначальные оценки вероятностей событий и их комбинаций. К недостаткам метода можно отнести трудоемкость получения большого количества оценок и корректной их обработки.

В работе предлагается методология составления сценариев, предполагающая предварительное определение пространства, параметров, характеризующих систему. Состояние системы в момент времени t является точкой S(t) в этом пространстве параметров. Определение возможных тенденций развития ситуации позволяет определить вероятное направление эволюции положения системы в пространстве выявленных параметров S(t) в различные моменты времени в будущем S(t+l), S(t+2) и т.д.

Если управляющие воздействия отсутствуют, то предполагается, что система будет эволюционировать в наиболее вероятном направлении.

Управляющие воздействия эквивалентны воздействию сил, способных изменить направление траектории S(t). Естественно, что управляющие воздействия должны рассматриваться как с учетом ограничений накладываемых как внешними, так и внутренними факторами.

Предлагаемая технология разработки сценариев предполагает рассмотрение положения системы в дискретные моменты времени t, t+1, t+2, ... .

При этом предполагается, что точка, соответствующая системе S(t) в пространстве параметров расположенным в конусе, расширяющемся при удалении от исходного момента времени t. В некоторый момент времени t+T ожидается, что система будет расположена в сечении конуса, соответствующем моменту времени t+T.

ВВЕДЕНИЕ

В переводе с греческого слово «прогноз» означает предвидение, предсказание о развитии чего-либо, основанное на определенных фактических данных. В общем виде под прогнозом следует понимать научно обоснованное суждение о возможных состояниях объекта в будущем, об альтернативных путях и сроках его осуществления.

Цель прогнозирования состоит в создании научных предпосылок, включающих научный анализ тенденций развития экономики; вариантное предвидение предстоящего развития общественного воспроизводства, учитывающее как сложившиеся тенденции, так и намеченные цели; оценку возможных последствий принимаемых решений; обоснование направлений социально-экономического и научно-технического развития для принятия управляющих решений.

Прогнозы природных ресурсов характеризуют вовлечение последних в хозяйственный оборот и охватывают все виды общественного воспроизводства и природную среду: топливо и минеральные ресурсы, ресурсы Мирового океана, некоторые виды энергии, растительный и животный мир, а также охрану окружающей среды.

МАТЕМАТИЧЕСКИЕ МЕТОДЫ ПРОГНОЗИРОВАНИЯ

Математические методы прогнозирования имеют высокую достоверность получаемой информации. При прогнозировании наибольшее распространение получили методы математической экстраполяции, экономико-статистического и экономико-математического моделирования.

Методы математической экстраполяции позволяют количественно охарактеризовать прогнозируемые процессы. Он основан на изучении сложившихся в прошлом закономерностей развития изучаемого явления и распространения их на будущее. Метод исходит из того, что в экономической жизни действует принцип инерции, т.е. наблюдаемые закономерности достаточно устойчивы в течение некоторого периода времени.

Экстраполяция в прогнозировании осуществляется с помощью выравнивания статистических рядов вне их связи с другими рядами экономической динамики, влияние которых учитывается в усредненном виде лишь на основе опыта прошлого.

Предпосылка о сохранении неизменности условий предшествующего периода при экстраполяции ограничивает возможности применения этого метода сравнительно непродолжительными периодами, в течение которых не происходит существенных качественных изменений. Наиболее достоверны результаты прогнозирования при соотношении продолжительности предшествующего периода (ретроспекции) и периода упреждения (проспекции).

Для применения данного метода необходимо иметь продолжительный ряд показателей за прошедшей период. Данная информация изучается и обрабатывается. Фактический временной ряд выравнивается путем графоаналитического или статистического подбора аппроксимирующей функции. Далее разрабатывают гипотезы изменения объекта в прогнозный период (период упреждения) и формализуют их в виде количественных показателей (тенденций). При этом значения показателей можно прогнозировать не только на конец прогнозного срока, но и на промежуточных этапах.

Методы и приемы математической статистики, теории вероятности дают возможность использовать широкий круг функций для прогнозирования необходимого показателя во времени.

Данные методы имеют недостатки, так как не может быть дан достоверный прогноз на длительный срок, если имеются скачкообразные изменения данных; нет возможности определить качественные характеристики прогнозируемых объектов.

Методы математической экстраполяции применяются при прогнозировании отводов земель для несельскохозяйственных нужд, установления урожайности сельскохозяйственных культур и т.д.

Наиболее часто применяются при прогнозировании экономико-статистические модели. На основе их рассчитывают урожайность сельскохозяйственных культур, продуктивность животных, выход продукции с сельскохозяйственных земель, прогнозные нормативы (облесенность территории, сельскохозяйственная освоенность земель и др.). Данный метод позволяет научно обосновать показатели и нормативы, используемые при планировании.

Экономико-статистической моделью называют функцию, связывающую результативный и факторные показатели, выраженную в аналитическом, графическом, табличном или ином виде, построенную на основе массовых данных и обладающую статистической достоверностью. Такие функции называют производственными, так как они описывают зависимость результатов производства от имеющихся факторов.

Процесс разработки экономико-статистической модели (моделирование) состоит из следующих стадий:

• 1. Экономический анализ производства. Определение зависимой переменной (результативный показатель) и выявление факторов, влияющих на неё (факторный показатель).
• 2. Сбор статистических данных и их обработка.
• 3. Установление математической формы связи (вид уравнения) между результативными и факториальными показателями.
• 4. Определение числовых параметров экономико-статистической модели.
• 5. Оценка степени соответствия экономико-статистической модели изучаемому процессу.
• 6. Экономическая интерпретация модели.

Экономический анализ производства заключается в определении цели, задачи и выборе результативного показателя, который отражает эффективность прогнозного решения. При анализе интенсивности использования земель в сельскохозяйственных организациях в качестве результативного показателя могут быть использованы стоимость валовой продукции в расчёте на 100 га сельхозземель (пахотных земель), урожайность культур, продуктивность земель и др.

В качестве факторных показателей используют балл плодородия почв, сельскохозяйственную освоенность и распаханность, энерговооруженность, трудообеспеченность и т. д.

При выборе независимых факторов руководствуются определенными правилами:

• 1. Точность производственных функций выше при большем числе эмпирических данных (при крупных выборках).
• 2. Факторы-аргументы должны оказывать наиболее существенное влияние на изучаемый процесс, количественно измеряться и представляться лишь одним признаком.
• 3. Количество отобранных факторов не должно быть большим, так как это усложняет модель и повышает трудоёмкость её использования.
• 4. Включаемые в модель факторы не должны находиться между собой в состоянии функциональной связи (автокорреляция), так как они характеризуют одну и ту же сторону изучаемого явления и дублируют друг друга. При использовании их в экономико-статистической модели изучаемые зависимости и результаты расчётов могут быть искажены.

Сбор статистических данных и их обработку производят после определения зависимой переменной (результативного показателя) и факторов-аргументов. При сборе информации используют экспериментальный и статистический методы. Первый предполагает изучение данных, получаемых в результате проведения опытов, условия которых можно контролировать. Но в землеустройстве процесс экспериментирования затруднён, а при решении отдельных вопросов вообще невозможен.

Второй метод основан на использовании статистических данных (сплошных или выборочных). Например, если при анализе размеров землепользования используются данные по всем сельскохозяйственным предприятиям области, то статистическая информация является сплошной, а изучаемая совокупность - генеральной.

Однако размер генеральных совокупностей бывает слишком большим - несколько сотен единиц и более. Поэтому для сокращения расчётов и экономии времени число наблюдений сокращают, получая выборочные данные (формируя выборочную совокупность) различными методами, позволяющими сохранить достоверность вычислений и распространить результаты исследований на генеральную совокупность.

Во всех случаях выборка должна быть однородной; исключать аномальные объекты и данные (сильно отличающиеся от всех остальных); включать только факторы, которые измеряются однозначно некоторым числом или системой чисел.

Определение математической формы связи переменных производят, логически анализируя процесс. Анализ позволяет установить вид уравнения (линейное, нелинейное), форму связи (парная или множественная) и т. д.

Определение параметров модели включает расчёт числовых характеристик математической зависимости (уравнения). Например, если для установления зависимости урожайности сельскохозяйственных культур (у) от балла плодородия ночв (х) выбрана линейная зависимость вида, то данная стадия моделирования заключается в получении численных значений коэффициентов и.

Для определения параметров уравнения могут применяться различные методы, но практика показывает, что самые точные результаты даёт метод наименьших квадратов. Оценка степени соответствия экономико-статистической модели изучаемому процессу осуществляется с использованием специальных коэффициентов (корреляции, детерминации, существенности и др.). Данные коэффициенты показывают соответствие математического выражения изучаемому процессу, можно ли использовать полученную модель для проведения последующих расчётов и принятия землеустроительных решений, насколько точно определяется результативный показатель и с какой вероятностью можно доверять ему.

Экономическое применение модель находит при научном обосновании нормативов, экономическом обосновании показателей в прогнозных разработках. математический экстраполяция сельскохозяйственный

Наиболее распространённым видом экономическо-статистических моделей являются производственные функции.

Производственная функция - это математически выраженная зависимость результатов производства от производственных факторов.

С помощью производственных функций при прогнозировании анализируют состояние и использование земель; подготавливают исходную информацию для экономико-математических задач по оптимизации различных решений; устанавливают уровень результативного признака на перспективу при планировании и прогнозировании использования земель в схемах и проектах землеустройства; определяют экономические оптимумы, коэффициенты эластичности, эффективности и взаимозаменяемости факторов. Для выражения зависимостей при прогнозировании наиболее часто употребляется линейная зависимость, поскольку она проста в применении. Реже применяются степенные, гиперболические, полиномиальные и другие.

Экономико-математическое моделирование предполагает создание модели, которая изучает экономический объект и представляет его описание с помощью знаков и символов (математических уравнений и неравенств, матриц, формул и др.).

Решение любой экономико-математической задачи при планировании и прогнозировании в землеустройстве связано с большим количеством информации. Для моделирования необходимо получить исходную информацию, ее обработать, проанализировать и оценить. Собранная информация должна быть полной, достоверной, своевременной, оперативной, представляться в удобной форме для дальнейшего использования. При этом затраты на сбор, обработку, передачу, хранение информации. При планировании и прогнозировании в землеустройстве используют следующие виды и источники информации: геоинформационные данные, статистические и отчетные данные по объекту планирования, плановая информация, нормативная информация.

Основой экономико-математической модели является матрица - специальная таблица, содержащая смысловые или кодовые обозначения функции цели; переменных и ограничений; их числовое выражение в виде коэффициентов или ограничений;

Целевая функция это аналитическая форма выражения критерия оптимальности. При моделировании в зависимости от уровня объекта (процесса) выделяют глобальный, отраслевой, локальный и частные критерии оптимальности;

Размер матрицы определяется перечнем переменных величин. В качестве переменных величин используют площади земель; показатели производственной деятельности сельскохозяйственной отрасли (по растениеводству, животноводству в целом; по сельскохозяйственным культурам; по видам скота).

Нахождение при прогнозировании оптимальных решений зависит от правильного определения состава ограничений. Ограничения формулируют в виде системы неравенств и уравнений, выражающей возможности производства и баланс ресурсов.

Ограничения могут быть основными, которые накладываются на все или большинство переменных (площади земель, рабочих участков, дозы внесения удобрений и т. д.), дополнительными - накладываются на отдельные переменные или небольшие группы (объёмы производства отдельных видов продукции, потребление некоторыми группами животных некоторых видов кормов и т. д.) и вспомогательными (не имеют самостоятельного экономического значения, используются для правильной формулировки экономических требований и математической записи).

Используют различные виды экономико-математических моделей: корреляционные модели и производственные функции, балансовые модели, модели оптимизации. При разработке схемы землеустройства административного района решаются следующие основные экономико-математические задачи: распределение земель административного района по категориям; оптимизация мероприятий по освоению и интенсификации использования земель; оптимизация размещения, специализации и уровня концентрации сельскохозяйственного производства в административном районе; установление оптимальных размеров сельскохозяйственных организаций; перераспределения земель между сельскохозяйственными организациями и др. Данные задачи часто состоят из блоков, каждый из которых имеет свой критерий оптимальности.

Например: в основу модели по оптимизации размещения, специализации и уровня концентрации сельскохозяйственного производства в административном районе положены две модели: по определению оптимального сочетания отраслей сельскохозяйственного производства и по установлению оптимального размера землепользований сельскохозяйственных организаций.

Данная задача состоит из блоков, в качестве которых выступают сельскохозяйственные организации.

В качестве переменных используют неизвестные: посевные площади сельскохозяйственных культур; виды и подвиды земель; трансформируемые земли; виды внутрихозяйственных ресурсов и другие переменные, которые учитывают особенности района.

Выделяют следующие группы ограничений:

• 1. Условия использование земель (по площадям, по качественным условиям) и возможность их трансформации.
• 2. Соотношение площадей земель.
• 3. Агробиологические и зоотехнические условия ведения сельскохозяйственного производства.
• 4. Ограничения по производству и использованию кормов.
• 5. Рекомендуемый размер землепользований сельскохозяйственных организаций в зависимости от специализации.
• 6. Ресурсные ограничения (по объему продаж продукции, по затратам труда, по денежным затратам на тех. средства, мин. удобрения, семена и др.).
• 7. Ограничения, учитывающие особенности расселения, а также использование трудовых и механизированных ресурсов.
• 8. Общерайонные условия и пропорции (баланс распределения материально-технических фондов по району, численность занятых в сельском хозяйстве и всего населения по району и др.).

В качестве критерия оптимальности при решении данной задачи используют, как правило, минимум приведенных затрат на фиксированный объем производства продукции.

В результате решения задачи устанавливают: состав и соотношение земель по отдельным землепользованиям и в целом по району; площади земель, подлежащие улучшению, освоению и трансформации; посевные площади сельскохозяйственных культур; структуру стада животных, производства и потребления кормов; межхозяйственное и внутрихозяйственное размещение отраслей в районе; специализацию и объем производства продукции в сельскохозяйственных организаций и их объединениях; балансы средств в целом по району и в разрезе сельхозорганизаций; распределение единовременных средств между сельхозорганизациями.

Математик Константин Воронцов о применении задач машинного обучения в бизнесе, композициях адаптивных моделей и усовершенствовании качества данных

Десять лет назад одна крупная розничная сеть объявила тендер на решение задачи прогнозирования объемов продаж в своей сети. Задачи прогнозирования решают почти все крупные ретейлы, потому что это им необходимо для планирования закупок. Конкурсные условия ставились следующим образом: нам давались данные за два года - это ежедневные продажи примерно 12 000 товаров в одном из магазинов сети, тендер был закрытым, кроме нас на него позвали еще шесть компаний. Среди них были очень крупные вендоры аналитических решений для ретейла. Мы, конечно, оценивали наши шансы выиграть в этом тендере как небольшие.

Условием ставилось составить прогноз продаж на две недели, которые следовали непосредственно за теми двумя годами, по которым были данные. Организаторы конкурса предложили свой функционал качества, по которому мерилось качество прогнозов. Этот функционал был немного нестандартным. Организаторы решили учесть, что в этом функционале складывается большое количество товаров и нехорошо, когда вы складываете штуки с килограммами, поэтому это была сумма по всем товарам, а в знаменатель им пришлось поставить саму прогнозируемую величину. Это был не очень понятный ход, так обычно не делают. Мы предупредили организаторов конкурса, что функционал немного странный, другие участники конкурса их тоже об этом предупреждали, но тем не менее в этом решении тоже была своя логика, и конкурс состоялся при таких условиях.

Обычно прогноз потребительского спроса - точнее, объемов продаж - делается методами прогнозирования, которые очень давно известны в статистике. В целом они основаны на методе наименьших квадратов, где в функционале есть суммы по товарам, суммы по моментам времени и квадрат разности прогноза алгоритма и реального объема продаж для этого товара в этот день. Так обычно устроен функционал, и во всех стандартных решениях минимизация такого функционала позволяет настраивать алгоритм прогнозирования.

Есть много простых, быстро работающих, тоже давно известных, еще с 1960-х годов, методов, которыми мы начали пользоваться, для того чтобы решить задачу прогнозирования. Это методы экспоненциально скользящего среднего, модели Брауна, Тейла - Вейджа, Хольта - Винтерса и так далее. Некоторые из них учитывают сезонность. Сезонность не надо понимать как зима - лето, а скорее как будни - выходные, то есть недельная сезонность. Многие товары действительно продаются по будням и выходным по-разному. Мы сразу поняли, что наши крупные конкуренты в этом тендере будут использовать стандартные подходы: они будут использовать метод наименьших квадратов, потому что у них есть готовые решения, и довольно трудоемкие вычислительные методы вроде нейронных сетей или же авторегрессии. И мы решили пойти другим путем и использовать простые методы с пониманием того, что у каждого товара много своих особенностей. Есть много моделей, но неизвестно, какая модель для каждого товара будет наилучшей. Более того, мы даже предположили, что товар время от времени переключает свою модель и его сначала, может быть, лучше прогнозировать одной моделью, а потом в какой-то момент другая модель начнет работать лучше. Поэтому мы сделали адаптивную композицию простых адаптивных моделей. В каждый момент времени мы выбираем ту модель, которая в последнее время работала лучше, давала более точные прогнозы, переключаемся на нее, и именно она дает прогнозы. Первое решение, которое было сделано, - пользоваться композицией простых моделей, вместо того чтобы строить что-то более сложное.

Второе решение заключалось в том, что мы осознали, что функционал нестандартен, и, как учили на первом курсе физтеха, мы взяли этот функционал, продифференцировали по параметрам модели, приравняли нулю производные и получили некую систему уравнений, из которой вывели новый метод. В принципе это работа для математика на один вечер, но мы догадывались, что наши конкуренты так поступать не будут, потому что у них есть готовые решения, они в них сильно верят. Как оказалось, мы действительно не прогадали.

Еще одна особенность этой задачи - то, что были большие интервалы неслучайного отсутствия спроса. Представьте себе: товар продается стабильно ежедневно, и вдруг вы видите, что две недели этого товара нет вообще. Это, конечно, связано не с тем, что спрос отсутствует, а с тем, что товар просто не привезли, его не было на полках, не было на складе. Такие интервалы отсутствия спроса мы просто вырезали из обучающих данных, чтобы они не повлияли на результат.

Настал день, когда мы показывали наше решение организаторам конкурса. Мы знали, что перед нами выступал один из наших крупных конкурентов, и, когда организаторы спросили: «А сколько часов вычисляет ваша модель?», мы удивились и сказали: «Вы разве не поняли, что мы только что на моем ноутбуке за одну минуту и восемь секунд не только подсчитали все прогнозы, но и обучили нашу модель на двухлетнем интервале?» Это было, конечно, шоком. В итоге наша модель оказалась не только самой точной, но еще и самой быстрой. Мы показали, что все прогнозы по всей сети можно считать буквально за два часа, ночью, на старом сервере и что даже никакого нового оборудования закупать не надо.

Это не только история успеха, но еще и очень поучительная история: во-первых, не надо бояться применять нестандартные методы, и если задача поставлена нестандартно, то только математик может быстро найти решение - хорошо, когда удается быстро, иногда это не удается, конечно; во-вторых, этот случай придал нам сил выйти на рынок с собственными решениями - не надо бояться того, что на рынке есть сильные конкуренты. Был еще один момент поучительности. Когда я сам занимался отбором моделей для этой задачи, то сначала мы ввели целых тридцать разных моделей, и из них так адаптивно, как я рассказал, каждый день для каждого товара выбиралась оптимальная модель.

В принципе это чревато таким явлением, как переобучение, то есть мы могли хорошо, точно подогнаться под обучающие данные и плохо прогнозировать на новых тестовых данных. Я знал об этом явлении, что явление связано с тем, что модель может быть избыточно сложной, тогда и возникает эффект переобучения. Мне казалось, что выбор из тридцати моделей - это не настолько сложно, здесь не должно быть переобучения. Мое удивление было очень сильным, когда я провел эксперимент, сравнил обучение с контрольным и понял, что переобучение просто огромно и мы теряем десятки процентов точности на этом эффекте. Я только собирался еще и еще вводить новые модели, но этот эксперимент показал, что решение надо, наоборот, упрощать и тридцать моделей - это много. Следующим шоком для меня было, когда оказалось, что оптимальное число моделей - шесть, то есть нельзя было строить более сложное решение, чем из шести моделей.

Тогда чисто теоретически эта задача поставила меня в тупик, а решение удалось найти только тогда, когда я работал над докторской диссертацией и уже серьезно исследовал явление переобучения в рамках комбинаторной теории переобучения. Оказалось, что если вы выбираете из моделей и у вас есть одна модель хорошая, а все остальные - плохие, то вы эту хорошую модель, как правило, и будете выбирать. Вы не будете переобучаться, вы будете иметь это одно хорошее решение. Если у вас есть много моделей, но они похожи друг на друга, вы тоже не будете переобучаться, потому что эффективная сложность совокупности таких похожих друг на друга моделей невелика, переобучение тоже низкое. А если получится так, что ваши модели существенно различны и примерно все при этом одинаково плохие, то переобучение может быть очень велико, и эффект переобучения чудовищно растет по мере роста числа моделей. Это была ровно та ситуация, с которой мы столкнулись в этом тендере. А вот объяснить ее теоретически удалось лишь несколько лет спустя.

Была еще одна поучительная история. Тогда же, на этом тендере, презентуя свое решение организаторам конкурса, мы объяснили: «Мы считаем, что ваш функционал неправильно устроен, так делать нельзя. То, что прогнозируемая величина в знаменателе, - это, конечно, нехорошо. То, что ваш функционал выражает квадрат разности ошибок…» Что такое квадрат рублей, например? Это не имеет экономического смысла. Мы предложили оптимизировать функционалы, выражающие потери компании от неточности прогнозов, и показали, как такой функционал должен быть устроен, и показали, что мы готовы оптимизировать такие нестандартные функционалы, тем самым повышать прибыль компании - ровно то, что было нужно для бизнеса. Когда мы начали уже реально работать над проектом, то оказалось, что у компании те самые данные, которые нужны для построения такого функционала, очень грязные. Для части товаров такие данные вообще отсутствовали, для части товаров эти данные были неточны, потому что менеджеры до сих пор не были заинтересованы в том, чтобы такие данные проверялись, контролировались. Это же не бухгалтерия, это какая-то вспомогательная информация. Может быть, она кому-то когда-то понадобится, может быть, нет.

В результате оказалось, что данные грязные, и нужно было усовершенствовать бизнес-процессы и работать над улучшением качества данных. Это то, что бизнес не понимал в тот момент. Когда мы пришли со своим решением и осознали, что борьба за качество и чистоту данных - важная часть бизнеса, мы еще помогли нашим партнерам это осознать и кое-что улучшить внутри бизнес-процессов. Такая поучительная история о связи бизнеса и науки, о том, что наука может дать бизнесу нестандартные решения. Иногда это совсем несложно, но и, наоборот, в процессе поиска этих решений на основе реальных кейсов мы можем получить обратную связь для науки, мы можем столкнуться с какими-то неразрешенными теоретическими вопросами и двинуть теорию вперед.

доктор физико-математических наук, профессор факультета компьютерных наук НИУ ВШЭ