Assessment of the influence of dependent variable distribution on selected goodness of fit measures using the example of customer churn model

• Authors: Migut Grzegorz

Title variants

PL

Ocena wpływu rozkładu zmiennej zależnej na wybrane miary oceny siły dyskryminacyjnej na przykładzie modeli migracji klientów

• Languages of publication: EN

Abstracts

EN

Classification models enable optimal actions to be taken at every stage of the customer’s lifecycle. A circumstance affecting both the model building process and the assessment of their discriminatory power is the unbalanced distribution of the dichotomous dependent variable. The article focuses on the question of reliable assessment of the goodness of fit. The first part of the article reviews the measures of predictive power and then assesses the impact of the distribution of the dependent variable on the selected measures of goodness of fit. As a result, the high sensitivity of a number of measures such as lift, accuracy (ACC), or F-Score was observed. The sensitivity of MCC and Kappa Cohen’s measurements was also observed. Sensitivity (SENS) and specificity (SPEC), Youden’s index and measures based on ROC curves showed no such sensitivity. The conclusions obtained may allow the avoidance of misjudging the predictive power of models built for both learning and business practice.

PL

Modele klasyfikacyjne umożliwiają podejmowanie optymalnych działań na każdym etapie cyklu życia klienta. Okolicznością wpływającą zarówno na proces budowy modeli, jak i na ocenę ich siły dyskryminacyjnej jest niezbalansowany rozkład dwustanowej zmiennej zależnej. W artykule skoncentrowano się na kwestii wiarygodnej oceny dobroci dopasowania. W pierwszej części artykułu dokonano przeglądu miar siły dyskryminacyjnej, następnie przeprowadzono ocenę wpływu rozkładu zmiennej zależnej na wybrane miary dobroci dopasowania. W wyniku badań zaobserwowano wysoką wrażliwość szeregu miar, takich jak lift, accuracy (ACC) czy F-Score. Zaobserwowano wrażliwość miar MCC oraz Kappa Cohena. Czułość (SENS) oraz specyficzność (SPEC), jak również pochodne miary oparte na krzywej ROC, a także indeks Youdena wykazały brak takiej wrażliwości. Uzyskane wnioski mogą pozwolić na uniknięcie błędnej oceny zdolności predykcyjnej modeli zarówno budowanych na potrzeby nauki, jak i wykorzystywanych w praktyce biznesowej.

Keywords

EN

classification models; goodness of fit; unbalanced datasets; customer churn analysis

PL

modele klasyfikacyjne; dobroć dopasowania; zbiory niezbalansowane; analiza migracji klientów

• Publisher: Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu
• Journal: Econometrics. Ekonometria. Advances in Applied Data Analytics
• Year: 2020
• Issue: vol. 24, nr 1
• Pages: 51-70

Contributors

author

Migut Grzegorz

References

• Berrar D., 2019, Performance Measures for Binary Classification, Encyclopedia of Bioinformatics and Computational Biology, vol. 1, 546-560.
• Boughorbel S., Jarray F., El-Anbari M., 2017, Optimal classifier for imbalanced data using Matthews Correlation Coefficient metric, PloS one 12.6.
• Ferri C., Hernández-Orallo J., Modroiu R., 2009, An experimental comparison of performance measures for classification, Pattern Recognition Letters, 30.1, 27-38.
• Géron A., 2017, Hands-On Machine Learning with Scikit-Learn & TensorFlow, O’Relly Sebastopol.
• Krzanowski W., Hand D., 2009, ROC Curves for Continuous Data, Chapman & Hall/CRC.
• Kuhn M., Johnson K., 2013, Applied Predictive Modelling, Springer, New York.
• Łapczyński M., 2016, Hybrydowe modele predykcyjne w marketingu relacji, Wydawnictwo Uniwersytetu Ekonomicznego w Krakowie, Kraków.
• Matthews B.W., 1975, Comparison of the predicted and observed secondary structure of T4 phage lysozyme, Biochimica et Biophysica Acta (BBA)-Protein Structure 405.2, 442-451.
• Migut G., Jakubowski J., Stout D., 2013, Developing Scorecards Using STATISTICA Scorecard, Stat-Soft Polska/StatSoft Inc., Kraków/Tulsa.
• Powers D.M., 2011, Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation, Journal of Machine Learning Technologies, 2:1, 37-63.
• Powers D.M., 2012, The problem of Kappa, Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, 345-355, Avignon.
• Sokolova M., Japkowicz N., Szpakowicz S., 2006, Beyond accuracy, F-score and ROC: a family of discriminant measures for performance evaluation, Australasian joint conference on artificial intelligence. Springer, Berlin, Heidelberg.
• Tharwat A., 2018, Classification assessment methods, Applied Computing and Informatics.
• Youden W.J., 1950, Index for rating diagnostic tests, Cancer, 3.1, 32-35.