PL EN


2012 | 59 | numer specjalny 1 | 109-122
Article title

On the optimal division of an empirical distribution (and some related problems)

Content
Title variants
PL
Optymalny podział rozkładu empirycznego (i kilka problemów z tym związanych)
Languages of publication
EN
Abstracts
EN
We consider division of an empirical distribution of xi, i being the index of a unit, for which we observe xi (e.g., province i, for which xi is the GDP per capita). Values xi are ordered non-decreasingly. We analyse the cumulative distribution, zi = sum(i’=1,…,i)xi. The sequence zi is convex. We want to divide the distribution of zi into subsets of i, with the shape of the distribution {zi} possibly well approximated by the segments of the straight line, determined for the subsets, forming a piecewise linear contour, the number of segments being possibly small. This corresponds to the frequently used categorisations for similar distributions (e.g., “developed”, “developing”,... countries). For such categorisations, usually no formal methods are applied but “substantive” prerequisites, or the methods applied are limited to establishing quantiles of the distribution, without considering its shape and the objective premises for determination of a different number of segments, including optimisation of the criterion mentioned before. A general approach is proposed for optimising division of such distribution conform to the criterion mentioned. A general objective function is proposed and its concrete realisation, as well as algorithms. The methodology proposed allows for obtaining the optimum divisions into categories for arbitrary distributions. Yet, on the basis of concrete empirical distributions, problems are outlined, due to the fact that the distributions obtained often display the features, leading to questioning of the foundations of the methodology proposed, and of the very sense of such categorisations. Examples of distributions of this kind, and consequences for the potential categorisations, are discussed. In summary, the methodology proposed, including the criterion function, constitutes a basis for the categorisation with respect to the cumulative distribution, and a tool for evaluating the rationality of way, in which the distributions are obtained.
PL
Praca zajmuje się podziałem empirycznego rozkładu wielkości xi, gdzie i jest indeksem jednostki, dla której obserwujemy tę wielkość (np. xi to PKB na mieszkańca w kraju i-tym). Wartości xi uporządkowano niemalejąco. Analizujemy dystrybuantę rozkładu, tj. wartości zi = suma(i’=1,…,i)xi, które tworzą ciąg wypukły. Chcemy otrzymać taki podział dystrybuanty na podzbiory, by przybliżyć kształt rozkładu {zi} z możliwie małym błędem przy pomocy odcinków linii prostej, odpowiadających podzbiorom, a zarazem – by tych odcinków było możliwie mało. Odpowiada to kategoryzacji podobnych rozkładów (np. kraje „rozwinięte”, „rozwijające się”, …), gdzie zwykle nie stosuje się metod statystycznych, tylko przesłanki „merytoryczne”, bądź stosowanie metod statystycznych ogranicza się do ustalenia, np., kwantyli rozkładu, bez uwzględniania kształtu i innych przesłanek dla rozwiązania, optymalizującego wspomniane kryterium. Zaproponowano ogólną metodykę optymalizacji podziału takich rozkładów w duchu wspomnianego kryterium, funkcję celu i jej konkretną realizację, wraz z algorytmami. Na podstawie przykładów konkretnych rozkładów, zarysowano także problemy, wynikające z faktu, że rozkłady empiryczne mają często charakter, stawiający pod znakiem zapytania podstawy przyjętej metodyki i w ogóle sens podobnych zadań. Przeanalizowano możliwe pochodzenie tych rozkładów oraz skutki dla ewentualnej kategoryzacji. Zaproponowana metodyka daje podstawy do kategoryzacji empirycznych dystrybuant i narzędzie do oceny racjonalności sposobu ich otrzymywania.
Year
Volume
59
Pages
109-122
Physical description
Contributors
  • Instytut Badań Systemowych PAN
References
  • Gafner Th., (1991), Mathematical programming approach to classification. Ph. D. dissertation, Institute of Statistics, Faculty of Economics and Business, University of Neuchatel.
  • Gan G., Ma Ch. and Wu J., (2007), Data Clustering. Theory, Algorithms and Applications, SIAM & ASA, Philadelphia.
  • QOL, (2005), http://www.economist.com/media/pdf/QUALITY_OF_LIFE.PDF, The Economist Intelligence Unit’s quality-of-life index (as seen on September 25th, 2012)
  • QOL, (2007), http://www.il-ireland.com/il/qofl07/2007 Quality of Life Index (as seen on September 25th, 2012)
  • Nielsen L., (2011), Classification of Countries Based on Their Level of Development: How it is Done and How it Could be Done, IMF Working Paper, WP/11/31, IMF.
  • Owsiński J. W., (1990), On a new naturally indexed quick clustering method with a global objective function, Applied Stochastic Models and Data Analysis, 6, 157-171.
  • Owsiński J. W., (2011), The bi-partial approach in clustering and ordering: the model and the algorithms, Statistica & Applicazioni, Special Issue, 43-59.
  • Owsiński J. W., (2012), On dividing an empirical distribution into optimal segments, SIS (Italian Statistical Society) Scientific Meeting, Rome, June 2012, http://meetings.sis-statistica.org/index.php/sm/sm2012/paper/viewFile/2368/229
Document Type
Publication order reference
Identifiers
YADDA identifier
bwmeta1.element.desklight-4602d046-3cd1-4338-bfca-b0d709fba4c1
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.