Boosting Regression Models

• Authors: Rozmus, Dorota

Title variants

EN

Agregacja modeli regresyjnych metodą boosting

Abstracts

PL

Boosting jest jedną z najlepszych metod agregacji modeli dyskryminacyjnych (Bauer, Kohavi, 1999). Liczne badania empiryczne potwierdzają możliwość znacznej poprawy jakości modeli klasyfikacyjnych, niewiele jednakże wiadomo na temat efektywności tej metody w przypadku modeli regresyjnych. Freund i Schapire (1995), stosując swój algorytm AdaBoost.R, podjęli próbę wykorzystania metody boosting do tego typu zagadnień. Głównym celem artykułu jest prezentacja nowej implementacji metody boosting w regresji, która opracowana została przez Ridgeway’a (2005). W przeprowadzonych eksperymentach zbadany został wpływ wartości podstawowych parametrów tego algorytmu, takich jak np. współczynnik uczenia, czy też liczba iteracji, na jakość modelu zagregowanego.

EN

In a wide variety of classification problems, boosting technique have proven to be very effective method for improving prediction accuracy (Bauer, Kohavi, 1999). While more evidence compiles about the utility of these technique in classification problems, little is known about their effectiveness in regression. Freund and Schapire (1995) gave a suggestion as to how boosting might improve regression models using their algorithm AdaBoost.R. The main aim of this article is to present an application of the new boosting method for regression problems which was introduced by Ridgeway (2005). We will discuss the influence of the main parameters of this algorithm, such as eg. learning rate or number of iterations on the model performance.

Keywords

EN

regression; aggregated model (ensebles); boosting

• Publisher: Uniwersytet Łódzki. Wydawnictwo Uniwersytetu Łódzkiego
• Journal: Acta Universitatis Lodziensis. Folia Oeconomica
• Year: 2009
• Volume: 228

Dates

published

2009

Contributors

author

Rozmus, Dorota

other

Department of Statistics, The Karol Adamiecki University of Economics, Katowice

Identifiers

URI

http://hdl.handle.net/11089/7073