Measuring the Quality of Multivariate Statistical Models

• Authors: Michał Trzęsiok

Title variants

Wybrane metody pomiaru jakości modeli statystycznych

• Languages of publication: EN

Abstracts

EN

Assessing the quality of a statistical model is very important, since it is crucial for the utility of the modelling process’ outcome. There are many different ways of measuring statistical models’ quality. Some of the measures represent a “goodness of fit” approach, some are “prediction ability” orientated. Among them there are absolute and relative measures. It is a researcher’s decision, which model quality measure is the most adequate for the given task. In the paper we present an overview of statistical models’ quality measures and a suggestion of using different ones during the model type selection stage and the stage of assessing the quality of the final model.

PL

Bardzo ważnym elementem procesu modelowania statystycznego jest etap oceny jakości zbudowanego modelu. W zależności od wykorzystanej metody istnieje wiele różnych podejść do pomiaru jakości modelu. Pomiar ten może skupiać się na dopasowaniu do danych empirycznych albo może przede wszystkim uwzględniać zdolności prognostyczne modelu. Mierniki mogą być absolutne albo względne. Zestaw mierników jakości modelu obejmuje liczną grupę propozycji, z których analityk musi wybrać najodpowiedniejszy do danej sytuacji. W artykule przedstawiono zestawienie mierników jakości modelu oraz sugestię używania innych mierników jakości na etapie wyboru wariantu modelu oraz na etapie oceny jakości modelu końcowego.

Keywords

EN

model quality; goodness of fit; prediction error

PL

jakość modelu; dopasowanie; błąd predykcji; jakość modelu; dopasowanie; błąd predykcji

• Publisher: Uniwersytet Łódzki. Wydawnictwo Uniwersytetu Łódzkiego
• Journal: Acta Universitatis Lodziensis. Folia Oeconomica
• Year: 2018
• Volume: 6
• Issue: 339
• Pages: 99-100

Dates

published

2019-02-13

Contributors

author

Michał Trzęsiok

• University of Economics in Katowice, Faculty of Finance and Insurance, Department of Economic and Financial Analysis

References

• Altman D. G., Bland J. M. (1994), Statistics Notes: Diagnostic tests 1: sensitivity and specificity, “British Medical Journal”, vol. 308(6943), p. 1552.
• Breiman L. (2001), Random forests, “Machine Learning”, vol. 45(1), pp. 5–32.
• Gatnar E. (2008), Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, Wydawnictwo Naukowe PWN, Warszawa.
• Hastie T., Tibshirani R., Friedman J. (2001), The Elements of Statistical Learning, Springer Verlag, New York.
• Kitchenham B. A., Pickard L. M., MacDonell S. G., Shepperd M. J. (2001), What accuracy statistics really measure, “IEE Proceedings‑Software”, vol. 148(3), pp. 81–85.
• Kohavi R. (1995), A Study of Cross‑Validation and Bootstrap for Accuracy Estimation and Model Selection, “International Joint Conference on Artificial Intelligence”, pp. 1137–1145.
• Meyer D., Leisch F., Hornik K. (2003), The support vector machine under test, “Neurocomputting”, vol. 55(1), pp. 169–186.
• Misztal M. (2014), Wybrane metody oceny jakości klasyfikatorów – przegląd i przykłady zastosowań, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 23: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 328, pp. 156–166.
• Rozmus D. (2004), Random forest jako metoda agregacji modeli dyskryminacyjnych, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 11: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1022, pp. 441–448.
• Rozmus D. (2008), Agregacja modeli klasyfikacyjnych i regresyjnych, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa.
• Trzęsiok M. (2006), Metoda wektorów nośnych na tle innych metod wielowymiarowej analizy danych, [in:] K. Jajuga, M. Walesiak (eds), „Taksonomia 13. Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1126, pp. 536–542.
• Trzęsiok M. (2007), Symulacyjne porównanie jakości modeli otrzymanych metodą wektorów nośnych z innymi modelami regresji, [in:] J. Dziechciarz (ed.), Zastosowanie metod ilościowych, „Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1189, Wrocław, pp. 234–241.
• Vapnik V. (1998), Statistical Learning Theory, John Wiley & Sons, New York.
• Wolpert D. H., Macready W. G. (1997), No Free Lunch Theorems for Optimization, “IEEE Transactions on Evolutionary Computation”, vol. 1, pp. 67–82, doi: 10.1109/4235.585893.

Identifiers

DOI

10.18778/0208-6018.339.06