Results found: 1

Search results

Sort By:

Limit search:

Assessment of the influence of dependent variable distribution on selected goodness of fit measures using the example of customer churn model

100%

Migut G.

Econometrics. Ekonometria. Advances in Applied Data Analytics

2020

issue vol. 24, nr 1

51-70

Classification models enable optimal actions to be taken at every stage of the customer’s lifecycle. A circumstance affecting both the model building process and the assessment of their discriminatory power is the unbalanced distribution of the dichotomous dependent variable. The article focuses on the question of reliable assessment of the goodness of fit. The first part of the article reviews the measures of predictive power and then assesses the impact of the distribution of the dependent variable on the selected measures of goodness of fit. As a result, the high sensitivity of a number of measures such as lift, accuracy (ACC), or F-Score was observed. The sensitivity of MCC and Kappa Cohen’s measurements was also observed. Sensitivity (SENS) and specificity (SPEC), Youden’s index and measures based on ROC curves showed no such sensitivity. The conclusions obtained may allow the avoidance of misjudging the predictive power of models built for both learning and business practice.

Modele klasyfikacyjne umożliwiają podejmowanie optymalnych działań na każdym etapie cyklu życia klienta. Okolicznością wpływającą zarówno na proces budowy modeli, jak i na ocenę ich siły dyskryminacyjnej jest niezbalansowany rozkład dwustanowej zmiennej zależnej. W artykule skoncentrowano się na kwestii wiarygodnej oceny dobroci dopasowania. W pierwszej części artykułu dokonano przeglądu miar siły dyskryminacyjnej, następnie przeprowadzono ocenę wpływu rozkładu zmiennej zależnej na wybrane miary dobroci dopasowania. W wyniku badań zaobserwowano wysoką wrażliwość szeregu miar, takich jak lift, accuracy (ACC) czy F-Score. Zaobserwowano wrażliwość miar MCC oraz Kappa Cohena. Czułość (SENS) oraz specyficzność (SPEC), jak również pochodne miary oparte na krzywej ROC, a także indeks Youdena wykazały brak takiej wrażliwości. Uzyskane wnioski mogą pozwolić na uniknięcie błędnej oceny zdolności predykcyjnej modeli zarówno budowanych na potrzeby nauki, jak i wykorzystywanych w praktyce biznesowej.

Refine search results

1 Econometrics. Ekonometria. Advances in Applied Data Analytics

1 Migut G.

1 2020

Search results

Assessment of the influence of dependent variable distribution on selected goodness of fit measures using the example of customer churn model