Zastosowanie współczynnika konkordancji w pomiarze zgodności ocen ekspertów

• Authors: Paweł Cabała

Title variants

EN

Using the Concordance Coefficient in the Measurement of Agreement Among Experts

Abstracts

EN

In this article the problem of the measurement of agreement among experts is discussed. There are several tools to verify whether opinions expressed by an ordinal scale are reliable. If the objects are ranked, one of correlation coefficients is chosen. At the beginning, the case of m > 2 experts ranking n objects is presented; first, using untied ranks and second, tied ranks. To this end Kendall’s coefficient of concordance is applied. The method of examination of the statistical significance is also presented. Additionally the issue of the interpretation of the concordance coefficient in reference to the average of Spearman’s r coefficients is raised. The paper provides an example of using concordance coefficient when ranks are tied and discusses limitations of using rank correlation methods as a tool for evaluating the degree of agreement among experts’ opinions.

PL

Celem artykułu jest przedstawienie zagadnienia pomiaru zgodności ocen wyrażonych na skali porządkowej. Istnieje szereg sposobów sprawdzenia stopnia zgodności opinii ekspertów. Z reguły do tego celu stosuje się współczynniki korelacji rang. W artykule skoncentrowano się na przypadku gdzie m > 2 ekspertów ocenia n obiektów, z dopuszczeniem rang wiązanych. Dla tak sformułowanego problemu jako miary zgodności przyjęło się stosować współczynnik konkordancji W Kendalla. W artykule zaproponowano uogólnioną wersję obliczania tego współczynnika, która upraszcza obliczenia w przypadku występowania rang wiązanych. Oprócz przedstawienia procedury badania istotności statystycznej, podniesiono także problem interpretacji otrzymywanych wartości współczynnika konkordancji. W nawiązaniu do zaprezentowanego przypadku podjęto również dyskusję na temat ograniczeń zastosowań współczynników korelacji w ocenie zgodności ekspertów.

Keywords

PL

opnie ekspertów; rangi; rangi wiązane; metoda uśredniania rang; korelacja rang; współczynnik konkordancji

EN

experts’ opinions; ranks; tied ranks; mid-rank method; rank correlation; concordance coefficient

• Publisher: Główny Urząd Statystyczny
• Journal: Przegląd Statystyczny
• Year: 2010
• Volume: 57
• Issue: 2-3
• Pages: 36-52

Dates

published

2010

Contributors

author

Paweł Cabała

References

• Brzeziński J., Maruszewski T., [1978], Metoda sędziów kompetentnych i jej zastosowanie w badaniach pedagogicznych, „Kwartalnik Pedagogiczny”, Nr 1(87).
• Damodaran A., [2009], Ryzyko strategiczne, Wydawnictwa Akademickie i Profesjonalne, Warszawa.
• Day S.G., Schoemaker P.J.H., [2006], Peripheral Vision. Detecting Weak Signals That Will Make or Break Your Company, Harvard Business School Press, Boston.
• Doskonalenie struktur organizacyjnych przedsiÚ biorstw w gospodarce opartej na wiedzy, [2009], pod red. A. Stabryły, Wydawnictwo C.H. Beck, Warszawa.
• Góralski A., [1976], Metody opisu i wnioskowania statystycznego w psychologii, PWN, Warszawa.
• Grouard B., Meston F., [1997], Kierowanie zmianami w przedsiębiorstwie, Poltex, Warszawa.
• Kendall M., [1962], Rank correlation methods, Charles Griffin & Company, London.
• Sharpe N.R., Veaux De R.D., Valleman P.F., [2009], Business Statistics, Pearson, New York.
• Siegel S., [1956], Nonparametric statistics for the behavioral sciences, McGraw-Hill Company Inc., New York.
• Simons R., [2005], Czy wiesz jak duże ryzyko ukryte jest w twojej firmie?, „Harvard Business Review Polska”, kwiecień .
• Stabryła A., [2000], Zarządzanie strategiczne w teorii i praktyce firmy, Wydawnictwo Naukowe PWN, Warszawa
• Steczkowski J, Zeliaś A., [1997], Metody statystyczne w badaniach zjawisk jakościowych, Wydawnictwo Akademii Ekonomicznej w Krakowie, Kraków.
• The Delphi Method. Techniques and Applications, [1975], pod red. H. Linstonea I M. Turoffa, AddiosnWesley Publishing Company Inc. London.
• Winer B.J., [1962], Statistical principles in experimental design, McGraw-Hill Company Inc., New York.

Identifiers

Biblioteka Nauki

1827280