Статья опубликована в журнале «Экономические отношения»2 / 2011

Инструменты оценки качества прогнозов показателей экономической деятельности организаций

Турунцева Марина Юрьевна, Старший научный сотрудник ИЭП им. Е.Т. Гайдара, и.о. зав. лабораторией краткосрочного прогнозирования, Россия

Quality Assessment Tools of Factors Forecast of Company Economic Activity - View in English

 Читать текст |  Скачать PDF | Загрузок: 28

Аннотация:
В настоящей статье рассматриваются методы анализа качества прогнозов показателей экономической деятельности. Рассмотрены как простейшие статистики, при помощи которых можно сравнить несколько прогнозов конкретного показателя между собой, так и набор тестов, позволяющих ответить на вопрос о статистической значимости различий этих прогнозов.
Цитировать публикацию:
Турунцева М.Ю. Инструменты оценки качества прогнозов показателей экономической деятельности организаций // Экономические отношения. – 2011. – Том 1. – № 2. – С. 17-21.

Приглашаем к сотрудничеству авторов научных статей

Публикация научных статей по экономике в журналах РИНЦ, ВАК (высокий импакт-фактор). Срок публикации - от 1 месяца.

creativeconomy.ru Москва + 7 495 648 6241


Прогнозирование показателей экономической деятельности является неотъемлемой составляющей экономического процесса. В этой связи встает вопрос об оценке качества прогнозов. Существует стандартный набор простейших статистик качества прогнозов и ряд довольно простых тестов, позволяющих ответить на вопрос о значимости различия прогнозов того или иного показателя, если их было несколько. Необходимо отметить, что предложенные методы не зависят от способа получения прогнозов: это могут быть и экспертные оценки, и эконометрические прогнозы, и любые другие.

К простейшим статистикам качества прогнозов относятся: средняя абсолютная процентная ошибка прогнозирования (Mean Percent ErrorMAPE), средняя абсолютная ошибка прогнозирования (Mean ErrorMAE), корень квадратный из средней квадратичной ошибки прогнозирования (Root Mean Squared ErrorRMSE).

Пусть  — фактическое значение показателя в момент T+i;  — прогноз этого показателя в момент Т на i шагов вперед;  — ошибка прогноза в момент Т на i шагов вперед; h — горизонт прогнозирования. Средняя абсолютная процентная ошибка прогнозирования рассчитывается по формуле:

.

Данная мера качества прогнозов является абсолютной в том смысле, что позволяет оценить его независимо от других прогнозов: достаточно выбрать некий уровень средней ошибки (например, 5%) и сравнивать рассчитанное по статистике значение с этим тестовым уровнем. Если расчетное значение меньше тестового, то прогноз считается хорошим, если больше — плохим.

Средняя абсолютная ошибка прогнозирования рассчитывается как

 

и является относительной мерой качества прогнозов, т.е. может быть использована для сравнения двух (или более) различных прогнозов одного и того же показателя между собой: лучшим считается тот прогноз, у которого МАЕ меньше. При этом, очевидно, этот лучший прогноз может быть хорошим или плохим с точки зрения МАРЕ.

Наиболее часто используемой статистикой качества прогнозов является корень квадратный из средней квадратичной ошибки прогнозирования

,

который также является относительной мерой качества прогнозов.

Главным достоинством всех перечисленных выше статистик является простота их расчета, главным недостатком то, что они не позволяют получить ответ на вопрос о том, являются ли два прогноза показателя разными со статистической точки зрения. Для ответа на этот вопрос необходимо использовать специальные тесты: F–тест, тест Моргана–Грейнджера–Ньюболда, тест Миза–Рогоффа, тест знаков и ранговый тест знаков Вилкоксона. Остановимся на них более подробно.

Самым простым способом проверки гипотезы о совпадении прогнозов по двум     моделям (А и В) является F-тест, который можно использовать, если функция потерь имеет квадратичный вид (т.е. используется RMSE), а ошибки прогнозирования удовлетворяют всем стандартным требованиям: имеют нулевой средний уровень, являются нормальными, а также серийно и одновременно некоррелированны. Тогда тестовая статистика выглядит следующим образом:

,

где h — горизонт прогнозирования;

 и  —   — векторы ошибок прогнозирования по моделям А и В, соответственно.

Следовательно, если математическое ожидание каждой ошибки прогнозирования равно нулю, можно говорить о том, что тестовая статистика представляет собой отношение выборочной ковариации между ошибками прогнозирования, полученным по различным моделям, к выборочной дисперсии ошибки прогнозирования, полученной по модели В.

В тесте Моргана–Грейнджера–Ньюболда требуется выполнение всех предположений F-теста, за исключением последнего об одновременной некоррелированности ошибок прогнозирования. При этом, Диболд и Мариано показали, что единственным из предположений о характере ошибок прогнозирования, которое не может быть ослаблено в данном случае, является предположение о том, что функция потерь имеет квадратичный вид. Статистика Моргана–Грейнджера–Ньюболда рассчитывается по формуле:

,

где  — выборочный коэффициент корреляции между суммой (x) и разностью (z) ошибок прогнозирования различных моделей.

В случае если ошибки прогнозирования являются и серийно, и одновременно коррелированными, можно использовать тест Миза–Рогоффа:

 

где  — выборочный коэффициент ковариации между суммой и разностью ошибок прогнозирования моделей A и B;  — состоятельная оценка ковариационной матрицы. Можно показать, что если ряды ошибок не являются серийно коррелированными, то статистика Миза–Рогоффа асимптотически совпадает со статистикой Моргана–Грейнджера–Ньюболда.

Диболд и Мариано предложили тест, являющийся устойчивым к различным отклонениям от стандартных предположений о свойствах ошибок прогнозирования. В данном тесте допускается, что ошибки прогнозирования могут не удовлетворять классическим критериям, т.е. могут не быть нормальными, иметь ненулевой средний уровень, а также быть автокоррелированными и коррелированными между собой. Кроме того, снимается ограничение с функции потерь: теперь она не должна быть квадратичной.

Все рассмотренные тесты дают хорошие результаты, если в наличии имеются длинные ряды прогнозов. Но чаще всего это условие не выполняется. В таком случае можно использовать тест знаков и ранговый тест знаков Вилкоксона.

При условии, что математическое ожидание разности функций потерь не равно нулю, в тесте знаков тестируется гипотеза о равенстве нулю медианы разности функций потерь, против альтернативы о ее отличия от нуля. Если же математическое ожидание разности функций потерь равно нулю и разность функций потерь есть независимая одинаково распределенная случайная величина, то исходную нулевую гипотезу можно заменить проверкой равенства медиан (или математических ожиданий) разности функций потерь разных прогнозов и соответствующих им альтернативных гипотез. В предположении о симметричности распределения разности функций потерь число положительных наблюдений в выборке размера h имеет биноминальное распределение с параметрами h и ½. Тогда тестовая статистика имеет вид:

 

где , а  и характеризует разность функций потерь прогнозов А и В,  — функция потерь, характеризующая отклонения прогнозных значений показателя  в момент Т на i шагов вперед, оцененных на основе модели k (например, по модели А либо В), от истинного значения  в этот момент  времени. Нередко в качестве функции потерь берется некоторая функция от ошибки прогнозирования, т.е. . Например, в качестве функции потерь может выступать одна из стандартных характеристик качества прогнозов: МАРЕ, МАЕ или RMSE. Таким образом, тестовая статистика в тесте знаков есть количество значений функции потерь от ошибки прогнозирования по модели А в момент времени i=1,…,h,  превышающих значение функции потерь от ошибки прогнозирования по модели В в соответствующий момент времени. В случае больших выборок используется статистика:

.

В случае отсутствия значимых различий прогнозных свойств моделей, статистика  должна быть приблизительно равна 0,5h, а  тогда принимает значение около нуля.

Ранговый тест знаков Вилкоксона является более мощным тестом по сравнению с тестом знаков, и его можно использовать, если выполняются условия симметричности разности функций потерь ошибок прогнозирования различных моделей и разность функций потерь ошибок прогнозирования является независимой одинаково распределенной случайной величиной. В этом случае тестовая статистика может быть рассчитана как:

 

где  — ранг абсолютной величины значения разности функций потерь ошибок прогнозирования различных моделей в момент времени i = 1 ,…, h. Тогда,  — сумма рангов положительных значений разности функций потерь ошибок прогнозирования   разных моделей. Критические значения для небольших выборок (h – мало) можно найти в специальных таблицах, для больших выборок (асимптотически) статистика имеет стандартное нормальное распределение.

 


Вывод

Все рассмотренные тесты хорошо работают при большом количестве наблюдений и при выполнении необходимых условий дают адекватные со статистической точки зрения результаты. Понятие большой выборки определить довольно сложно и для разных тестов пороговые значения могут быть различными. Например, для теста Миза-Рогоффа Диболд и Мариано показали, что достаточный размер выборки достигается при h больше 64. Нарушение различных предположений тестов ведет к различным потерям, и мы не будем останавливаться на этом подробно. При наличии малого числа наблюдений лучше использовать тесты знаков  и , поскольку в этой ситуации они дают более адекватные результаты по сравнению с другими рассмотренными тестами.


Издание научных монографий от 15 т.р.!

Издайте свою монографию в хорошем качестве всего за 15 т.р.!
В базовую стоимость входит корректура текста, ISBN, DOI, УДК, ББК, обязательные экземпляры, загрузка в РИНЦ, 10 авторских экземпляров с доставкой по России.

creativeconomy.ru Москва + 7 495 648 6241



Источники:
1. Diebold F.X. (2007), Elements of Forecasting. 4th ed. Thomson South-Western, 2007.
2. Diebold F.X., Mariano R.S. Comparing Predictive Accuracy, Journal of Business and Economic Statistics. – 1995. ‒ № 13 (3). ‒ P. 253-263.
3. Granger, C.W.J., Newbold P. Forecasting Economic Time Series, Orlando, Florida: Academic Press, 1977.
4. Meese, R.A., Rogoff K. Was it Real? The Exchange Rate – Interest Differential Relation Over the Modern Floating–Rate Period, Journal of Finance. – 1988. ‒ 43. ‒ P. 933-948.
5. Morgan, W.A. (1939–1940), A test for the Significance of the Difference Between the two variances in a Sample From Normal Bivariate Population, Biometrika, 31. ‒ P. 13-19.
6. Wilcoxon, F. Individual Comparisons by Ranking Methods, Biometrics Bulletin. – 1945. ‒ № 1 (6). ‒ P. 80–83.
7. Турунцева М., Юдин А., Дробышевский С., Кадочников П., Трунин П., Пономаренко С. Некото-рые подходы к прогнозированию экономических показателей. ‒ М.: ИЭПП, 2005.
8. Турунцева М., Киблицкая Т. (2010), Качественные свойства различных подходов к прогнозиро-ванию социально-экономических показателей РФ. ‒ М.: ИЭПП.