PL EN


Journal
2014 | 3(128) | 95–111
Article title

Modele analizy efektu oceniającego w pomiarze edukacyjnym

Authors
Title variants
EN
Models for analysis of rater effect in educational measurement
Languages of publication
PL
Abstracts
PL
Artykuł powstał w wyniku poszukiwań optymalnego modelu analizy w ramach prowadzonych badań porównywalności oceniania i efektu egzaminatora w zakresie egzaminu maturalnego z języka polskiego i matematyki. W części pierwszej przedstawiono krótko teorię dotyczącą zagadnienia efektu oceniającego (rater effect), odnosząc je do obszaru pomiaru edukacyjnego w Polsce, w którym otrzymało ono nazwę efektu egzaminatora. Skupiono się na zagadnieniu od strony pomiarowej i nie rozważano psychologicznych podstaw oceniania. W drugiej części artykułu przedstawiono wybrane modele analizy tego efektu i wskazano, który model pozwala na oszacowanie największej liczby różnych aspektów efektu egzaminatora. Opisane zostały również symulacje sprawdzające przydatność modelu HRM-SDT do analizy danych z polskiego egzaminu maturalnego.
EN
The article is the result of a search for an optimal model of data analysis in a study on scoring comparability and rater effect in upper secondary school leaving examination in Polish language and mathematics. The first part briefly outlines the theory on rater effect. Mainly the measurement aspect is presented, the psychological bases of the scoring process are not discussed. In the second part selected models of rater effect analysis are described. Amongst them, the hierarchical rater model with signal detection theory is considered as covering the broadest range of different types of rater effect. This model was used in simulations to check its usefulness for data analysis of upper secondary school leaving examination in Poland.
Journal
Year
Issue
Pages
95–111
Physical description
Dates
published
2014-09-29
Contributors
author
  • Instytut Badań Edukacyjnych
References
  • DeCarlo, L. T., Kim, Y. i Johnson, M. S. (2011). A Hierarchical rater model for constructed responses, with a signal detection rater model. Journal of Educational Measurement, 48(3), 333–356.
  • Dolata, R., Putkiewicz, E. i Wiłkomirska, A. (2004). Reforma egzaminu maturalnego – oceny i rekomendacje. Warszawa: Instytut Spraw Publicznych.
  • Dubiecka, A., Szaleniec, H. i Węziak, D. (2006). Efekt egzaminatora w egzaminach zewnętrznych. W: B. Niemierko i M. K. Szmigel (red.), O wyższą jakość egzaminów szkolnych (98–115). Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
  • Glas, C. A. (2012). Generalizability theory and item response theory. W: T. J. Eggen i B. P. Veldkamp (red.), Psychometrics in practice at RCEC (1–13). Enschede: Ipskamp Drukkers.
  • Patz, R. J. i Junker, B. W. (1999). Applications and rxtensions of MCMC in IRT: multiple Item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, 24(4), 342–366.
  • Patz, R. J., Junker, B. W., Johnson, M. S. i Mariano, L. T. (2002). The Hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, 27(4), 341–384.
  • Saal, F. E., Downey, R. G. i Lahey, M. A. (1980). Rating the ratings: assessing the psychometric quality of rating data. Psychological Bulletin, 88(2), 413–428.
  • Scheerens, J., Glas, C. A. i Thomas, S. M. (2003). Educational Evaluation, Assessment and Monitoring: A Systemic Approach. Lisse: Swets & Zeitlinger.
  • Scullen, S. E., Mount, M. K. i Goff, M. (2000). Understanding the latent structure of job performance ratings. Journal of Applied Psychology, 85(6), 956–970.
  • Szmigel, M. K. i Szaleniec, H. (2001). Z prac nad porównywalnością wyników oceniania zewnętrznego. W: K. Wenta, Pomiar edukacyjny jako kompetencje pedagogiczne. Szczecin: Wydawnictwo Naukowe Uniwersytetu Szczecińskiego.
  • Wolfe, E. W. (2004). Identifying rater effects using latent trait models. Psychology Science, 46(1), 35–51.
Notes
http://www.edukacja.ibe.edu.pl/images/numery/2014/3-6-kulon-modele-analizy-efektu-egzaminatora.pdf
Document Type
Publication order reference
Identifiers
ISSN
0239-6858
YADDA identifier
bwmeta1.element.desklight-2aca2b0c-dfa9-466a-872f-e7ca6dfe94ce
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.