Results found: 2

Search results

Search:
in the keywords: tree-based models

Sort By:

Limit search:

Gradient Boosting in Regression

100%

Gatnar E., University of Economics in Katowice I. o. S.

Acta Universitatis Lodziensis. Folia Oeconomica

2005

vol. 194

Szeroko stosowane w praktyce metody nieparametryczne wykorzystujące tzw. drzewa regresyjne mają jedną istotną wadę. Otóż wykazują one niestabilność, która oznacza, że niewielka zmiana wartości cech obiektów w zbiorze uczącym może prowadzić do powstania zupełnie innego modelu. Oczywiście wpływa to negatywnie na ich trafność prognostyczną. Tę wadę można jednak wyeliminować, dokonując agregacji kilku indywidualnych modeli w jeden. Znane są trzy metody agregacji modeli i wszystkie opierają się na losowaniu ze zwracaniem obiektów ze zbioru uczącego do kolejnych prób uczących: agregacja bootstrapowa (boosting), losowanie adaptacyjne (bagging) oraz metoda hybrydowa, łącząca elementy obu poprzednich. W analizie regresji szczególnie warto zastosować gradientową, sekwencyjną, odmianę metody boosting. W istocie polega ona wykorzystaniu drzew regrcsyjnych w kolejnych krokach do modelowania reszt dla modelu uzyskanego w poprzednim kroku.

The successful tree-based methodology has one serious disadvantage: lack of stability. That is, regression tree model depends on the training set and even small change in a predictor value could lead to a quite different model. In order to solve this problem single trees are combined into one model. There are three aggregation methods used in classification: bootstrap aggregation (bagging), adaptive resample and combine (boosting) and adaptive bagging (hybrid bagging-boosting procedure). In the field of regression a variant of boosting, i.e. gradient boosting, can be used. Friedman (1999) proved that boosting is equivalent to a stepwise function approximation in which in each step a regression tree models residuals from last step model.

Feature Selection and Multiple Model Approach in Discriminant Analysis

100%

Gatnar E., Katowice University of Economics I. o. S.

Acta Universitatis Lodziensis. Folia Oeconomica

2007

vol. 206

Significant improvement of model stability and prediction accuracy in classification and regression can be obtained by using the multiple model approach. In classification multiple models are built on the basis of training subsets (selected from the training set) and combined into an ensemble or a committee. Then the component models (classification trees) determine the predicted class by voting. In this paper some problems of feature selection for ensembles will be discussed. We propose a new correlation-based feature selection method combined with the wrapper approach.

Refine search results

2 Acta Universitatis Lodziensis. Folia Oeconomica

2 Gatnar E.

1 Katowice University of Economics I. o. S.

1 University of Economics in Katowice I. o. S.

1 2007

1 2005

Search results

Gradient Boosting in Regression

Feature Selection and Multiple Model Approach in Discriminant Analysis