Full-text resources of CEJSH and other databases are now available in the new Library of Science.
Visit https://bibliotekanauki.pl

Results found: 10

first rewind previous Page / 1 next fast forward last

Search results

help Sort By:

help Limit search:
first rewind previous Page / 1 next fast forward last
1
Publication available in full text mode
Content available

Propozycja agregowanego klasyfikatora kNN z selekcją zmiennych

100%
Kubus M.
Econometrics. Ekonometria. Advances in Applied Data Analytics
|
2016
|
issue 3 (53)
32-41
EN
Aggregated classification trees have gained recognition due to improved stability, and frequently reduced bias. However, the adaptation of this approach to the k nearest neighbors method (kNN), faces some difficulties: the relatively high stability of these classifiers, and an increase of misclassifications when the variables without discrimination power are present in the training set. In this paper we propose aggregated kNN classifier with feature selection. Its classification accuracy has been verified on the real data with added irrelevant variables.
2
Publication available in full text mode
Content available

Identyfikacja potencjalnych nabywców polis ubezpieczeniowych w warunkach mocno niezbilansowanej próby uczącej

100%
Kubus M.
Econometrics. Ekonometria. Advances in Applied Data Analytics
|
2015
|
issue 2 (48)
89-99
EN
Having given the data set with executed transactions and customer demographic features one can use marketing scoring to support sales campaign. The discrimination methods used in the scoring often face the problem of imbalance classes and irrelevant variables. In this paper, we analyze the insurance market, where the scoring is performed with a use of the weighted k nearest neighbors and multivariate filters. The feature selection significantly contributed to increasing the number of correctly identified potential purchasers of the insurance policy.
3
Publication available in full text mode
Content available

Eliminacja zmiennych z wykorzystaniem marginesu

100%
Kubus M.
Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu
|
2018
|
issue 507
124-132
PL
Ważnym etapem budowy klasyfikatora jest dobór zmiennych. W metodzie k najbliższych sąsiadów, wrażliwej na zmienne nieistotne, etap ten jest niezbędny do uzyskania większej dokładności klasyfikacji. Metody doboru zmiennych, które także wykorzystują najbliższe sąsiedztwo, dokonują lokalnej oceny mocy dyskryminacyjnej zmiennych i zarazem reprezentują podejście wielowymiarowe. Część z nich wykorzystuje pojęcie marginesu (margin), definiując za jego pomocą funkcję celu i formułując zadanie ważenia zmiennych jako zadanie optymalizacji. W artykule porównano trzy algorytmy z tej grupy metod ze względu na zdolność identyfikacji zmiennych nieistotnych, dokładność klasyfikacji oraz czas pracy. Zweryfikowano też dwie własne propozycje modyfikacji. W badaniach wykorzystano zbiory danych rzeczywistych z dołączonymi zmiennymi nieistotnymi, które reprezentowały różne rozkłady, niezależne od klas.
4
Publication available in full text mode
Content available

Evaluation of resampling methods in the class unbalance problem

100%
Kubus M.
Econometrics. Ekonometria. Advances in Applied Data Analytics
|
2020
|
issue vol. 24, nr 1
39-50
EN
The purpose of many real world applications is the prediction of rare events, and the training sets are then highly unbalanced. In this case, the classifiers are biased towards the correct prediction of the majority class and they misclassify a minority class, whereas rare events are of the greater interest. To handle this problem, numerous techniques were proposed that balance the data or modify the learning algorithms. The goal of this paper is a comparison of simple random balancing methods with more sophisticated resampling methods that appeared in the literature and are available in R program. Additionally, the authors ask whether learning on the original dataset and using a shifted threshold for classification is not more competitive. The authors provide a survey from the perspective of regularized logistic regression and random forests. The results show that combining random under-sampling with random forests has an advantage over other techniques while logistic regression can be competitive in the case of highly unbalanced data.
PL
Celem wielu praktycznych zastosowań modeli dyskryminacyjnych jest przewidywanie zdarzeń rzadkich. Zbiory uczące są wówczas niezbilansowane. W tym przypadku klasyfikatory mają tendencję do poprawnego klasyfikowania obiektów klasy większościowej i jednocześnie błędnie klasyfikują wiele obiektów klasy mniejszościowej, która jest przedmiotem szczególnego zainteresowania. W celu rozwiązania tego problemu zaproponowano wiele technik, które bilansują dane lub modyfikują algorytmy uczące. Celem artykułu jest porównanie prostych, losowych metod bilansowania z bardziej wyrafinowanymi, które pojawiły się w literaturze. Dodatkowo postawiono pytanie, czy konkurencyjnym podejściem nie jest budowa modelu na oryginalnym zbiorze danych i przesunięcie progu klasyfikacji. Badanie przedstawiono z perspektywy regularyzowanej regresji logistycznej i lasów losowych. Wyniki pokazują, że kombinacja metody under-sampling z lasami losowymi wykazuje przewagę nad innymi technikami, podczas gdy regresja logistyczna może być konkurencyjna w przypadku silnego niezbilansowania.
5
Publication available in full text mode
Content available

Locally Regularized Linear Regression in the Valuation of Real Estate

100%
Kubus M.
Statistics in Transition new series
|
2016
|
vol. 17
|
issue 3
515-524
EN
Regression methods are used for the valuation of real estate in the comparative approach. The basis for the valuation is a data set of similar properties, for which sales transactions were concluded within a short period of time. Large and standardized databases, which meet the requirements of the Polish Financial Supervision Authority, are created in Poland and used by the banks involved in mortgage lending, for example. We assume that in the case of large data sets of transactions, it is more advantageous to build local regression models than a global model. Additionally, we propose a local feature selection via regularization. The empirical research carried out on three data sets from real estate market confirmed the effectiveness of this approach. We paid special attention to the model quality assessment using cross-validation for estimation of the residual standard error.
6
Publication available in full text mode
Content available

The influence of irrelevant variables on classification error in rules induction

100%
Kubus M., Politechnika Opolska; Wydział Inżynierii Produkcji i Logistyki; Instytut Matematyki i Fizyki
Acta Universitatis Lodziensis. Folia Oeconomica
|
2011
|
vol. 255
PL
Typowym zadaniem data mining jest wykrycie niespodziewanych i systematycznych relacji w danych, gdy nie ma wcześniejszych oczekiwań co do natury tych relacji. W dużych zbiorach, które nie były zgromadzone w celu prowadzonej przez badacza analizy, zwykle występuje wiele zmiennych nieistotnych, co może obniżyć jakość modelu dyskryminacyjnego. W takich sytuacjach stosowane są metody selekcji zmiennych. W nieparametrycznych i adaptacyjnych metodach dyskryminacji (drzewa klasyfikacyjne, indukcja reguł) selekcja zmiennych jest częścią algorytmu uczącego. Za pomocą symulacji badany jest wpływ zmiennych nieistotnych na błąd klasyfikacji w tych metodach.
7
Publication available in full text mode
Content available

The analysis of some properties of SLIPPER algorithm

100%
Kubus M., Politechnika Opolska; Wydział Inżynierii Produkcji i Logistyki; Instytut Matematyki i Fizyki
Acta Universitatis Lodziensis. Folia Oeconomica
|
2010
|
vol. 235
PL
Indukcja reguł jest nieparametryczną i adaptacyjną metodą dyskryminacji. Może być stosowana dla zmiennych niemetrycznych, regiony decyzyjne nie muszą być rozłączne, a model jest łatwy w interpretacji. Opis klas ma postać koniunkcji wartości cech. Każda pojedyncza reguła generowana jest za pomocą heurystycznego przeszukiwania przestrzeni opisów klas z wykorzy- staniem funkcji kryterium. Wiele algorytmów indukcji reguł wykorzystuje schemat separuj-i- zwyciężaj (Michalski 1969). Algorytm SLIPPER (Cohen, Singer 1999) zamiast kroku separuj stosuje metodę boosting, znaną głównie z agregacji drzew klasyfikacyjnych. W artykule zbadana będzie stabilność modelu generowanego przez SLIPPER. Dokonane też będzie porównanie z klasycznym AdaBoost agregującym drzewa klasyfikacyjne oraz z popularnymi metodami dyskryminacji.
8
Publication available in full text mode
Content available

Some Remarks on Feature Ranking Based Wrappers

100%
Kubus M., Opole University of Technology D. o. M. a. A. C. S.
Acta Universitatis Lodziensis. Folia Oeconomica
|
2013
|
vol. 286
EN
One of the approaches to feature selection in discrimination or regression is learning models using various feature subsets and evaluating these subsets, basing on model quality criterion (so called wrappers). Heuristic or stochastic search techniques are applied for the choice of feature subsets. The most popular example is stepwise regression which applies hillclimbing. Alternative approach is that features are ranked according to some criterion and then nested models are learned and evaluated. The sophisticated tools of obtaining a feature rankings are tree based ensembles. In this paper we propose the competitive ranking which results in slightly lower classification error. In the empirical study metric and binary noisy variables will be considered. The comparison with a popular stepwise regression also will be given.
PL
Jednym z podejść do problemu selekcji zmiennych w dyskryminacji lub regresji jest wykorzystanie kryterium oceny jakości modeli budowanych na różnych podzbiorach zmiennych (tzw. wrappers). Do wyboru podzbiorów zmiennych stosowane są techniki przeszukiwania (heurystyczne lub stochastyczne). Najpopularniejszym przykładem jest regresja krokowa wykorzystująca strategię wspinaczki. Alternatywne podejście polega na uporządkowaniu zmiennych wg wybranego kryterium, a następnie budowaniu modeli zagnieżdżonych i ich ocenie. Zaawansowanymi narzędziami budowy rankingów są agregowane drzewa klasyfikacyjne. W artykule został zaproponowany konkurujący ranking, który prowadzi do nieco mniejszych błędów klasyfikacji. W studium empirycznym rozważane są zmienne nieistotne metryczne oraz binarne. Przedstawiono też porównanie z popularną regresją krokową.
9
Publication available in full text mode
Content available

Feature Selection in High Dimensional Regression Problem

100%
Kubus M., Opole University of Technology D. o. M. a. A. C. S.
Acta Universitatis Lodziensis. Folia Oeconomica
|
2013
|
vol. 286
EN
There are three main approaches to feature selection problem considered in statistical and machine learning literature: filters, wrappers and embedded methods. Filters evaluate and exclude some variables before learning a model. Wrappers use learning algorithm for evaluation of the feature subsets and involve search techniques in the feature subset space. Embedded methods use feature selection as an integral part of learning algorithm. When features outnumber examples, filters or embedded methods are recommended. The goal of this paper is to compare popular filters and embedded methods in high dimensional problem. In the simulation study, redundant variables will be included in the artificially generated data.
PL
Metody selekcji zmiennych dyskutowane obecnie w literaturze dzielone są na trzy główne podejścia: dobór zmiennych dokonywany przed etapem budowy modelu, przeszukiwanie przestrzeni cech i selekcja zmiennych na podstawie oceny jakości modelu oraz metody z wbudowanym mechanizmem selekcji zmiennych. W przypadku, gdy liczba zmiennych jest większa od liczby obserwacji rekomendowane są głównie podejścia pierwsze lub trzecie. Celem artykułu jest porównanie wybranych metod reprezentujących te podejścia w przypadku dużego wymiaru przestrzeni cech. W przeprowadzonych symulacjach, do sztucznie generowanych danych włączano zmienne skorelowane.
10
Publication available in full text mode
Content available

On Model Selection in Some Regularized Linear Regression Methods

100%
Kubus M., Opole University of Technology D. o. M. a. A. C. S.
Acta Universitatis Lodziensis. Folia Oeconomica
|
2013
|
vol. 285
EN
A dynamic development of various regularization formulas in linear models has been observed recently. Penalizing the values of coefficients affects decreasing of the variance (shrinking coefficients to zero) and feature selection (setting zero for some coefficients). Feature selection via regularized linear models is preferred over popular wrapper methods in high dimension due to less computational burden as well as due to the fact that it is less prone to overfitting. However, estimated coefficients (and as a result quality of the model) depend on tuning parameters. Using model selection criteria available in R implementation does not guarantee that optimal model will be chosen. Having done simulation study we propose to use EDC criterion as an alternative.
PL
W ostatnich latach można zaobserwować dynamiczny rozwój różnych postaci regularyzacji w modelach liniowych. Wprowadzenie kary za duże wartości współczynników skutkuje zmniejszeniem wariancji (wartości współczynników są ,,przyciągane” do zera) oraz eliminacją niektórych zmiennych (niektóre współczynniki się zerują). Selekcja zmiennych za pomocą regularyzowanych modeli liniowych jest w problemach wielowymiarowych preferowana wobec popularnego podejścia polegającego na przeszukiwaniu przestrzeni cech i ocenie podzbiorów zmiennych za pomocą kryterium jakości modelu (wrappers). Przyczyną są mniejsze koszty obliczeń i mniejsza podatność na nadmierne dopasowanie. Jednakże wartości estymowanych współczynników (a więc także jakość modelu) zależą od parametrów regularyzacji. Zaimplementowane w tym celu w programie R kryteria jakości modelu nie gwarantują wyboru modelu optymalnego. Na podstawie przeprowadzonych symulacji w artykule proponuje się zastosowanie kryterium EDC.
first rewind previous Page / 1 next fast forward last
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.