Zrównanie ekwicentylowe na tle innych metod zrównywania na przykładzie sprawdzianu i egzaminu gimnazjalnego

• Authors: Tymoteusz Wołodzko , Bartosz Kondratek , Henryk Szaleniec

Title variants

EN

Equipercentile equating compared with other methods for primary and lower secondary school exams data in Poland

• Languages of publication: PL

Abstracts

PL

Artykuł przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002–2012. W latach 2011–2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione zostały w kontekście planowania zrównań testów.

EN

The results of equating three exams are presented: (a) primary school exam, (b) lower secondary school mathematics and science exam and (c) the lower secondary school humanities exam from 2002 to 2012 in a study conducted by the Educational Research Institute. During survey session conducted from 2011 to 2014 students from a representative sample of Polish schools took tests containing real items from primary and lower secondary school exams in conditions intended to mirror real exams. The data were used to estimate the equating functions used for real exam scores. Equipercentile equating, linear equating and item response theory based equating methods gave comparable results. The results were discussed in the context of planning for the equating of tests.

Keywords

PL

psychometria; zrównywanie wyników obserwowanych; zrównywanie ekwicentylowe

EN

psychometrics; observed-score equating; equipercentile equating

• Publisher: Instytut Badań Edukacyjnych
• Journal: Edukacja
• Year: 2014
• Issue: 3(128)
• Pages: 112–130

Dates

published

2014-09-29

Contributors

author

Tymoteusz Wołodzko

• Instytut Badań Edukacyjnych

author

Bartosz Kondratek

• Instytut Badań Edukacyjnych

author

Henryk Szaleniec

• Instytut Badań Edukacyjnych

References

• Albano, A. D. (2014). Equate: an r package for observed-score linking and equating. R package version 2.0. Pobrano z http://cran.r-project.org/web/packages/equate/index.html
• Clemen, R. T. (1989). Combining forecasts: a review and annotated. International Journal of Forecasting, 5, 559–583.
• Davison, A. C. i Hinkley, D. V. (2009). Bootstrap methods and their application. New York, NY: Cambridge University Press.
• Davier, A. A. Von (2011). A statistical perspective on equating test scores. W: A. A. von Davier (red.), Statistical models for test equating, scaling, and linking. New York, NY: Springer.
• Davier, A. A. von, Holland, P. W. i Thayer, D. T. (2004). The kernel method of test equating. New York, NY: Springer.
• Dorans, N. J., Moses, T. P. i Eignor, D. R. (2011). Equating test scores: toward best practices. W: A. A. von Davier (red.), Statistical models for test equating, scaling, and linking. New York, NY: Springer.
• Efron, B. i Tibshirani, R. J. (1993). An introduction to the bootstrap. London: Chapman & Hall/CRC.
• Field, C. A. i Welsh, A. H. (2007). Bootstrapping clustered data. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 69(3), 369–390.
• Green, P. J. i Silverman, B. W. (1993). Nonparametric regression and generalized linear models: a roughness penalty approach. London: Chapman & Hall/CRC.
• Holland, P. W. (2007). A framework and history for score linking. W: N. J. Dorans, M. Pommerich i P. W. Holland (red.), Linking and aligning scores and scales. New York, NY: Springer.
• Holland, P. W. i Strawderman, W. E. (2011). How to average equating functions, if you must. W: A. A. von Davier (red.), Statistical models for test equating, scaling, and linking. New York, NY: Springer.
• Holland, P. W. i Thayer, D. T. (2000). Univariate and bivariate loglinear models for discrete test score distributions. Journal of Educational and Behavioral Statistics, 25(2), 133–183.
• Kolen, M. J. i Brennan, R. L. (2004). Test equating, scaling and linking. New York, NY: Springer.
• Kolen, M. J. i Jarjoura, D. (1987). Analytic smoothing for equipercentile equating under the common item nonequivalent populations design. Psychometrika, 52(1), 43–59.
• Livingston, S. A. i Kim, S. (2009). The circle-arc method for equating in small samples, Journal of Educational Measurement, 46(3), 330–343.
• Makridakis, S. i Winkler, R. L. (1983) Averages of forecasts: some empirical results. Management Science, 29(9), 987–996.
• Moses, T. P. i Holland, P. W. (2009). Selection strategies for univariate loglinear smoothing models and their effect on equating function accuracy. Journal of Educational Measurement, 46(2), 159–176.
• Moses, T. P. i Davier, A. A. Von (2006). A SAS macro for loglinear smoothing: applications and implications. (ETS Research Rep. No. RR-06-05). Princeton: Educational Testing Services.
• Niemierko, B. (2004). Zrównywanie wyników sprawdzianu 2004 do wyników sprawdzianu 2003. W: B. Niemierko i H. Szaleniec (red.), Standardy wymagań i normy testowe w diagnostyce edukacyjnej. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Niemierko, B. (2007). Zrównywanie wyników sprawdzianu 2005 do wyników sprawdzianu 2003 metodą ekwicentylową. Egzamin, 10, 86–104.
• Pokropek, A. (2011). Zrównywanie wyników egzaminów zewnętrznych w kontekście międzynarodowym. Pobrano z http://www.ptde.org/file.php/1/Archiwum/XVII_KDE/pedeefy/Pokropek_2.pdf
• Pokropek, A. i Kondratek, B. (2012). Zrównywanie wyników testowania. Definicje i przykłady zastosowania. Edukacja, 120(4), 52–71 .
• R Core Team (2014). R: a language and environment for statistical computing. R Foundation for Statistical Computing. Pobrano z http://www.R-project.org/
• Rena, S., Lai, H., Tong, W., Aminzadeh, M., Hou, X. i Lai, S. (2010). Nonparametric bootstrapping for hierarchical data. Journal of Applied Statistics, 37(9), 1487–1498.
• Smolik, M. (2007). Zrównywanie wyników sprawdzianu 2004 i sprawdzianu 2005 do wyników sprawdzianu 2003 z wykorzystaniem modelu Rascha. Egzamin, 10, 86–104.
• Szaleniec, H. (2005). Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników. W: B. Niemierko, G. Szyling (red.), Holistyczne i analityczne metody diagnostyki edukacyjnej perspektywy informatyczne egzaminów szkolnych. Gdańsk: Fundacja rozwoju Uniwersytetu Gdańskiego.
• Szaleniec, H. (2007). Zrównywanie wyników sprawdzianu w latach 2003–2005 z wykorzystaniem probabilistycznej teorii zadania. Egzamin, 10, 86–104.
• Szaleniec, H., Grudniewska, M., Kondratek, B., Kulon, F. i Pokropek, A. (2012). Wyniki egzaminu gimnazjalnego 2002–2010 na wspólnej skali. Edukacja, 119(3), 9–30
• Szaleniec, H., Grudniewska, M., Kondratek, B., Kulon, F., Pokropek, A., Stożek, E. i Żółtak, M. (2013). Analiza porównawcza wyników egzaminów zewnętrznych – sprawdzian w szóstej klasie szkoły podstawowej i egzamin gimnazjalny. Warszawa: Instytut Badań Edukacyjnych.
• Wand, M. P. i Jones, M. C. (1995). Kernel smoothing. London: Chapman & Hall/CRC.
• Wang, C. (2011). An investigation of bootstrap methods for estimating the standard error of equating under the common-item nonequivalent groups design. Pobrano z http://ir.uiowa.edu/etd/1188
• Winkler, R. L. i Makridakis, S. (1983). The combination of forecasts. Journal of the Royal Statistical Society, 146(2), 150–157.
• Wołodźko, T. (2014). equi: R library for equipercntile equating. Pobrano z https://github.com/twolodzko/equi

Notes

http://www.edukacja.ibe.edu.pl/images/numery/2014/3-7-wolodzko-i-in-zwrownywanie-ekwicentylowe.pdf

Identifiers

ISSN

0239-6858