Modele analizy efektu oceniającego w pomiarze edukacyjnym

• Authors: Filip Kulon

Title variants

EN

Models for analysis of rater effect in educational measurement

• Languages of publication: PL

Abstracts

PL

Artykuł powstał w wyniku poszukiwań optymalnego modelu analizy w ramach prowadzonych badań porównywalności oceniania i efektu egzaminatora w zakresie egzaminu maturalnego z języka polskiego i matematyki. W części pierwszej przedstawiono krótko teorię dotyczącą zagadnienia efektu oceniającego (rater effect), odnosząc je do obszaru pomiaru edukacyjnego w Polsce, w którym otrzymało ono nazwę efektu egzaminatora. Skupiono się na zagadnieniu od strony pomiarowej i nie rozważano psychologicznych podstaw oceniania. W drugiej części artykułu przedstawiono wybrane modele analizy tego efektu i wskazano, który model pozwala na oszacowanie największej liczby różnych aspektów efektu egzaminatora. Opisane zostały również symulacje sprawdzające przydatność modelu HRM-SDT do analizy danych z polskiego egzaminu maturalnego.

EN

The article is the result of a search for an optimal model of data analysis in a study on scoring comparability and rater effect in upper secondary school leaving examination in Polish language and mathematics. The first part briefly outlines the theory on rater effect. Mainly the measurement aspect is presented, the psychological bases of the scoring process are not discussed. In the second part selected models of rater effect analysis are described. Amongst them, the hierarchical rater model with signal detection theory is considered as covering the broadest range of different types of rater effect. This model was used in simulations to check its usefulness for data analysis of upper secondary school leaving examination in Poland.

Keywords

PL

efekt oceniającego; pomiar edukacyjny; efekt egzaminatora; ocenianie; item response theory; IRT

EN

educational measurement; rater effect; scoring; item response theory; IRT

• Publisher: Instytut Badań Edukacyjnych
• Journal: Edukacja
• Year: 2014
• Issue: 3(128)
• Pages: 95–111

Dates

published

2014-09-29

Contributors

author

Filip Kulon

• Instytut Badań Edukacyjnych

References

• DeCarlo, L. T., Kim, Y. i Johnson, M. S. (2011). A Hierarchical rater model for constructed responses, with a signal detection rater model. Journal of Educational Measurement, 48(3), 333–356.
• Dolata, R., Putkiewicz, E. i Wiłkomirska, A. (2004). Reforma egzaminu maturalnego – oceny i rekomendacje. Warszawa: Instytut Spraw Publicznych.
• Dubiecka, A., Szaleniec, H. i Węziak, D. (2006). Efekt egzaminatora w egzaminach zewnętrznych. W: B. Niemierko i M. K. Szmigel (red.), O wyższą jakość egzaminów szkolnych (98–115). Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Glas, C. A. (2012). Generalizability theory and item response theory. W: T. J. Eggen i B. P. Veldkamp (red.), Psychometrics in practice at RCEC (1–13). Enschede: Ipskamp Drukkers.
• Patz, R. J. i Junker, B. W. (1999). Applications and rxtensions of MCMC in IRT: multiple Item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, 24(4), 342–366.
• Patz, R. J., Junker, B. W., Johnson, M. S. i Mariano, L. T. (2002). The Hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, 27(4), 341–384.
• Saal, F. E., Downey, R. G. i Lahey, M. A. (1980). Rating the ratings: assessing the psychometric quality of rating data. Psychological Bulletin, 88(2), 413–428.
• Scheerens, J., Glas, C. A. i Thomas, S. M. (2003). Educational Evaluation, Assessment and Monitoring: A Systemic Approach. Lisse: Swets & Zeitlinger.
• Scullen, S. E., Mount, M. K. i Goff, M. (2000). Understanding the latent structure of job performance ratings. Journal of Applied Psychology, 85(6), 956–970.
• Szmigel, M. K. i Szaleniec, H. (2001). Z prac nad porównywalnością wyników oceniania zewnętrznego. W: K. Wenta, Pomiar edukacyjny jako kompetencje pedagogiczne. Szczecin: Wydawnictwo Naukowe Uniwersytetu Szczecińskiego.
• Wolfe, E. W. (2004). Identifying rater effects using latent trait models. Psychology Science, 46(1), 35–51.

Notes

http://www.edukacja.ibe.edu.pl/images/numery/2014/3-6-kulon-modele-analizy-efektu-egzaminatora.pdf

Identifiers

ISSN

0239-6858