Hidden Markov Models as a Tool for the Assessment of Dependence of Phenomena of Economic Nature

• Authors: Michał Bernardelli

Title variants

Ukryte modele Markowa jako narzędzie oceny zależności zjawisk o charakterze ekonomicznym

• Languages of publication: EN

Abstracts

EN

The assessment of dependence between time series is a common dilemma, which is often solved by the use of the Pearson’s correlation coefficient. Unfortunately, sometimes, the results may be highly misleading. In this paper, an alternative measure is presented. It is based on hidden Markov models and Viterbi paths. The proposed method is in no way universal but seems to provide quite an accurate image of the similarities between time series, by disclosing the periods of convergence and divergence. The usefulness of this new measure is verified by specially crafted examples and real‑life macroeconomic data. There are some definite advantages to this method: the weak assumptions of applicability, ease of interpretation of the results, possibility of easy generalization, and high effectiveness in assessing the dependence of different time series of an economic nature. It should not be treated as a substitute for the Pearson’s correlation, but rather as a complementary method of dependence measure.

PL

Ocena zależności między szeregami czasowymi jest zagadnieniem, które jest często rozwiązywane za pomocą współczynnika korelacji Pearsona. Niestety, czasami wyniki mogą być bardzo mylące. W artykule przedstawiono alternatywną miarę badania zależności, opartą na ukrytych modelach Markowa oraz ścieżkach Viterbiego. Zaproponowana metoda nie jest uniwersalna, ale wydaje się dość dokładnie odzwierciedlać podobieństwo między szeregami czasowymi, eksponując okresy zbieżności i rozbieżności. Przydatność tej nowej miary została zweryfikowana na przykładach, jak również realnych danych makroekonomicznych. Zaletami tej metody są: słabe założenia stosowalności, łatwość interpretacji wyników, możliwość generalizacji i wysoka skuteczność w ocenie zależności różnych szeregów czasowych o charakterze ekonomicznym. Nie należy jej jednak trakto­wać jako substytutu korelacji Pearsona, a raczej jako uzupełniającą metodę pomiaru zależności.

Keywords

EN

dependence measure; correlation; hidden Markov model; Viterbi path

PL

miara zależności; korelacja; ukryty model Markowa; ścieżka Viterbiego; miara zależności; korelacja; ukryty model Markowa; ścieżka Viterbiego

• Publisher: Uniwersytet Łódzki. Wydawnictwo Uniwersytetu Łódzkiego
• Journal: Acta Universitatis Lodziensis. Folia Oeconomica
• Year: 2018
• Volume: 5
• Issue: 338
• Pages: 7-20

Dates

published

2018-09-28

Contributors

author

Michał Bernardelli

• Warsaw School of Economics, College of Economic Analysis, Institute of Econometrics

References

• Baum L.E., Petrie T., Soules G., Weiss N. (1870), A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains, “The Annals of Mathematical Statistics”, vol. 41, no. 1, pp. 164–171.
• Bernardelli M. (2013), Non‑classical Markov Models in the Analysis of Business Cycles in Poland, “Annals the Collegium of Economic Analysis”, vol. 30, pp. 59–74.
• Cappé O., Moulines E., Rydén T. (2005), Inference in Hidden Markov Models, Springer Series in Statistics, Springer‑Verlag, New York.
• Dhrymes P.J. (1997), Time Series, Unit Roots, and Cointegration, Academic Press, San Diego.
• Guilford J.P. (1956), Fundamental statistics in psychology and education, McGraw‑Hill, New York.
• Hamilton J.D. (1989), A New Approach to the Economic Analysis of Non‑stationary Time Series and Business Cycle, “Econometrica”, no. 57, pp. 357–384.
• Joe H. (1997), Multivariate Models and Dependence Concepts, Monographs in Statistics and Applied Probability (Book 73), Chapman and Hall, London.
• Kendall M.G., Stuart A. (1973), The Advanced Theory of Statistics, vol. 2: Inference and Relationship, Griffin, New York.
• Lhermitte S., Verbesselt J., Verstraeten W.W., Coppin P. (2011), A comparison of time series similarity measures for classification and change detection of ecosystem dynamics, “Remote Sensing of Environment”, vol. 115(12), pp. 3129–3152.
• Maddala G.S., Kim I. (1998), Unit Roots, Cointegration, and Structural Change, Cambridge University Press, Cambridge, pp. 155–248.
• Nelsen R.B. (2006), An Introduction to Copulas, Second Edition, Springer‑Verlag New York.
• Parzen E., Mukhopadhyay S. (2012), Modeling, dependence, classification, united statistical science, many cultures, https://arxiv.org/abs/1204.4699 [accessed: 20.01.2018].
• Pearson K. (1895), Notes on regression and inheritance in the case of two parents, “Proceedings of the Royal Society of London”, vol. 58, pp. 240–242.
• Serrà J., Arcos J.L. (2014), An Empirical Evaluation of Similarity Measures for Time Series Clas­sification, Knowledge‑Based Systems, vol. 67, pp. 305–314.
• Soper H.E., Young A.W., Cave B.M., Lee A., Pearson K. (1917), On the distribution of the correlation coefficient in small samples. Appendix II to the papers of “Student” and R.A. Fisher. A co‑operative study, “Biometrika”, vol. 11, pp. 328–413.
• Székely G.J., Rizzo M.L., Bakirov N.K. (2007), Measuring and testing dependence by correlation of distances, “The Annals of Statistics”, vol. 35, no. 6, pp. 2769–2794.
• Tjostheim D., Hufthammer K.O. (2013), Local Gaussian correlation: A new measure of dependence, “Journal of Econometrics”, vol. 172, issue 1, pp. 33–48.
• Viterbi A. (1967), Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm, “IEEE Transactions on Information Theory”, vol. 13, pp. 260–269.
• Walesiak M. (2016), The choice of groups of variable normalization methods in multidimensional scaling, “Przegląd Statystyczny”, R. LXIII, no. 1, pp. 7–18.
• Wu Y., Agrawal D., Abbadi A.E. (2000), A comparison of DFT and DWT based similarity search in time‑series databases, Proceedings of the 9th International Conference on Information and Knowledge Management, McLean.

Identifiers

DOI

10.18778/0208-6018.338.01