Results found: 2

Search results

Search:
in the keywords: Shannon’s entropy

Sort By:

Limit search:

Application of Kullback-Leibler Relative Entropy for Studies on the Divergence of Household Expenditures Structures

100%

Wędrowska E.

Olsztyn Economic Journal

2011

vol. 6

issue 1

133-142

The paper proposes the possibility of employing the methods defined on the grounds of the information theory to research on socioeconomic phenomena. The presented measures are Shannon's entropy and Kullback-Leibler relative entropy (divergence) applied for quantification of the degree of concentration of structures and the degree of divergence between structures analyzed in the dynamic approach respectively. The paper presents studies on the degree of divergence between structures of average monthly per capita expenditures in households in Poland during the years 2000-2008.

Wykorzystanie entropii Shannona i jej uogólnień do badania rozkładu prawdopodobieństwa zmiennej losowej dyskretnej

63%

Wędrowska E.

Przegląd Statystyczny

2010

vol. 57

issue 4

39-53

Everywhere where there is need for identification and measurement of indeterminacy of the distributions studied we can talk about entropy. The need to measure the degree of diversity occurs in studies on numerous systems, processes and phenomena, in particular in studies on socioeconomic phenomena. That is why in studies on those phenomena the measures or models defined on grounds of the information theory are used increasingly often. The paper presents categorization of notions and characteristics of the entropy of a discrete random variable. In addition to Shannon’s entropy, the Rényi’s and Tsallis entropies were applied for studies on the properties of distributions in case of probabilities of the random variables. The notion of entropy stemming from thermodynamics found application in many fields of sciences. Shannon’s entropy was defined on the grounds of the information theory, the Rényi’s entropy is the result of generalization of the Kolmogorov-Nagumo average while the Tsallis entropy is a certain function of Rényi’s entropy. The present paper unifies these approaches by presenting one general model of concentration measure that applies Rényi’s entropy.

O entropii można mówić wszędzie tam, gdzie istnieje potrzeba rozpoznania i zmierzenia nieokreśloności badanych rozkładów zmiennych losowych. Potrzeba zmierzenia stopnia koncentracji występuje w badaniu wielu systemów, procesów czy zjawisk, w szczególności w badaniu zjawisk społeczno-ekonomicznych. Właśnie dlatego w badaniu tychże zjawisk coraz częściej wykorzystuje się miary zdefiniowane na gruncie teorii informacji. W artykule zaprezentowano pojęcia i własności entropii zmiennej losowej dyskretnej. Wykorzystano entropię Shannona wraz z jej uogólnieniami (entropią Rényiego i Tsallisa) do badania własności rozkładów prawdopodobieństw dyskretnych zmiennych losowych. Wskazano ponadto na liczne związki miar koncentracji dyskretnego rozkładu prawdopodobieństwa z entropią. W artykule zaproponowano miarę umożliwiającą ocenę stopnia koncentracji dyskretnego rozkładu prawdopodobieństwa będącą funkcją entropii Rényiego.

Refine search results

1 Olsztyn Economic Journal

1 Przegląd Statystyczny

2 Wędrowska E.

1 2011

1 2010

Search results

Application of Kullback-Leibler Relative Entropy for Studies on the Divergence of Household Expenditures Structures

Wykorzystanie entropii Shannona i jej uogólnień do badania rozkładu prawdopodobieństwa zmiennej losowej dyskretnej