O wpływie wybranych metod selekcji nieliniowych zmiennych objaśniających na jakość modeli regresyjnch

• Authors: Jacek Stelmach

Title variants

EN

On the impact of some methods of selection nonlinear variables on quality of regression models

• Languages of publication: PL

Abstracts

PL

Najpopularniejsza parametryczna metoda najmniejszych kwadratów oraz jej rozszerzenia (regresja grzbietowa, metoda LASSO, metoda LARS, regresja BRIDGE) pozwalają na budowę addytywnych modeli liniowych. W rzeczywistości często mamy do czynienia z nieliniowymi zależnościami, a użyteczna informacja jest powtarzana w wielu zmiennych objaśniających. Bezkrytyczne wykorzystanie wszystkich takich dostępnych zmiennych może prowadzić do naruszenia założeń Gaussa-Markowa i najczęściej obniża jako ść modeli regresyjnych. Znane metody selekcji pozwalają na wybór zmiennych, które wnoszą najwięcej użytecznej informacji, ograniczając jedno-cześnie zbędny szum. Opisany eksperyment weryfikuje metodą symulacji komputerowej jakość modeli regresyjnych otrzymanych za pomocą wybranych metod parametrycznych, dla których przeprowadzono selekcję predyktorów, wykorzystując: drzewa regre-syjne, regresję grzbietową oraz algorytm genetyczny.

EN

The most common parametric Ordinary Least Squares Method and its extension (ridge regression, LASSO and LARS methods, BRIDGE regression) allow to build additive linear models. In reality, we often have to deal with non-linear dependencies, and useful information is repeated in a number of explanatory variables. Use of all available variables can lead to violations of Gauss-Markow assumptions and frequently reduces the quality of regression models. Known methods of selection allow to select the variables that contribute the most useful information, reducing unnecessary noise. De-scribed experiment verifies, by computer simulation, quality of regression models obtained using selected parametric methods, for which the selection was carried out using: regression trees, ridge regression and genetic algorithm.

Keywords

PL

Algorytm genetyczny; Model regresyjny; Selekcja predyktorów

EN

Genetic algorithm; Regression model; Selection of predictors

• Publisher: Uniwersytet Ekonomiczny w Katowicach
• Journal: Studia Ekonomiczne
• Year: 2015
• Volume: 219
• Pages: 79-96

Contributors

author

Jacek Stelmach

References

• Barczak A., Biolik J. (2003), Podstawy ekonometrii, Wydawnictwo AE, Katowice.
• Cule E., De Iorio M. (2012), A semi-automatic method to guide the choice of ridge pa-rameter in ridge regression, arXiv:1205.0686v1 [stat.AP].
• Dittmann P. (2008), Prognozowanie w przedsiębiorstwie, Oficyna a Wolters Kluwer business, Kraków.
• Efron B., Hastie T., Johnstone I., Tibshirani R. (2004), Least Angle Regression, „The Annals of Statistics, Vol. 32.
• Faraway J.J. (2002), Practical Regression and Anova using R, http://cran.r-project.org/doc/contrib/Faraway-PRA.pdf (dostęp: 12.10.2012).
• Fox J., Weisberg S. (2011), An R Companion to Applied Regression, Sage, Thousand Oaks CA.
• Friedman J.H. (1991), Multivariate Adaptive Regression Splines, „Annals of Statistics”, Vol. 19(1).
• Fu W.J. (1998), Penalized Regressions: The Bridge Versus the Lasso, „Journal of Com-putational and Graphical Statistics”, Vol. 7.
• Geladi P., Kowalski B. (1986), Partial least square regression: A tutorial, „Analytica Chemica Acta”, Vol. 35.
• Hastie T., Tibshirani R., Friedman J. (2008), The Elements of Statistical Learning. Data Mining, Inference, and Prediction, Springer Science+Business Media B.V., New York.
• Hawkins D.M. (1994), The feasible solution algorithm for least trimmed squares re-gression, „Computational Statistics & Data Analysis”, Vol. 17.
• Helland I.S. (1999), Some theoretical aspects of partial least squares regression, „Che-mometrics and Intelligent Laboratory Systems”, Vol. 58.
• Hoerl A.E., Kennard R.W. (1970), Ridge Regression: Biased Estimation for Nonortho-gonal Problems, „Technometrics”, Vol. 12.
• Hoskuldson A. (1988), Pls regression methods, „Journal of Chemometrics”, Vol. 2.
• Huber P.J. (1964), Robust estimation of a location parameter, „The Annals of Mathema-tical Statistics”, Vol. 35(1).
• Huber P.J., Ronchetti E.M. (2009), Robust Statistics, A John Wiley & Sons, Inc. Publi-cation, New Jersey.
• Jackson E.J. (1991), A User’s Guide to Principal Components, A John Wiley & Sons, Inc. Publication, New Jersey.
• Maddala G.S. (2008), Ekonometria, Wydawnictwo Naukowe PWN, Warszawa. Mix D.F. (1995), Random Signal Processing, Prentice Hall Inc.
• Rencher A.C. (2002), Methods of Multivariate Analysis, A John Wiley & Sons, Inc. Publication, New Jersey.
• Tibshirani R. (1996), Regression Shrinkage and Selection via the Lasso, „Journal of the Royal Statistical Society”, Vol. 58.
• Wasserman L. (2006), All of nonparametric statistics, Springer Science+Business Media B.V., New York.
• Wilcox R.R. (2010), Fundamentals of Modern Statistical Methods, Springer Scien-ce+Business Media B.V., New York.

Identifiers

ISSN

2083-8611