Zróżnicowane funkcjonowanie zadań testowych ze względu na wersję testu

• Authors: Maciej Koniewski , Przemysław Majkut , Paulina Skórska

Title variants

Differential item functioning between different forms of test booklets

• Languages of publication: PL

Abstracts

PL

Analizowano zróżnicowane funkcjonowanie zadań (DIF) ze względu na wersję arkusza testowego. Zadania wielokrotnego wyboru różniły się między arkuszami kolejnością odpowiedzi. Analizowano zadania z wersji A i B arkusza egzaminu gimnazjalnego z historii i wiedzy o społeczeństwie z 2013 r. Dane pochodziły od uczniów z województw lubelskiego, małopolskiego i podkarpackiego (n = 81 545). W celu detekcji DIF wykorzystano test Mantela–Haenshela, regresję logistyczną oraz standaryzację. Przedstawiono graficzne metody prezentacji DIF. Wyniki analiz wskazują na istotne różnice w funkcjonowaniu zadań między wersjami A i B testu w sytuacji, gdy w jednej wiązce zadań prawidłowa odpowiedź jest oznaczona zawsze tym samym symbolem, np. A, A, A. Taki wzór odpowiedzi nazwano antywzorcem, ponieważ może być uznawany przez uczniów za mało prawdopodobny i w konsekwencji prowadzić do udzielania błędnych odpowiedzi. Sformułowano rekomendacje ważne dla twórców testów.

EN

Differential item functioning (DIF) between different forms of test booklets was analysed. Both test forms shared the same items and only the sequence of options for the multiple choice items differed. Analysis was performed on 2013 data from two forms, A and B of “The history and civic studies” test administered in lower secondary schools in the Lubelskie, Malopolskie and Podkarpackie Voivodeships (n = 81 545). To detect DIF, the Mantel–Haenshel test, logistic regression and standardisation were used. Methods for DIF visualisation were demonstrated. Results indicated meaningful differences in item functioning between test forms, especially with a repeat letter pattern of answer keys on items bundled in testlet when correctly answered, e.g. A, A, A. Such a pattern is named an ‘anti-pattern’, because test takers may consider such a response pattern unlikely and in consequence answer incorrectly. Findings from this study should provide important guidelines for test development.

Keywords

PL

psychometria,; zróżnicowane funkcjonowanie zadań testowych; DIF; standaryzacja; test Mantela–Haenszela; regresja logistyczna

EN

psychometry; differential item functioning; DIF; standardization; Mantel–Haenszel test; logistic regression

• Publisher: Instytut Badań Edukacyjnych
• Journal: Edukacja
• Year: 2014
• Issue: 1(126)
• Pages: 79–94

Dates

published

2014-03-27

Contributors

author

Maciej Koniewski

• Instytut Badań Edukacyjnych

author

Przemysław Majkut

• Instytut Badań Edukacyjnych

author

Paulina Skórska

• Instytut Badań Edukacyjnych

References

• Angoff, W. H. (1972) The development of statistical indices for detecting cheaters. Princeton, NJ: Educational Testing Service.
• Bock, R., Muraki, E., i Pfeiffenberger, W. (1988). Item pool maintenance in the presence of item parameter drift. Journal of Educational Measurement, 25(4), 275–285.
• Cohen, J. (1988). Statistical power analysis for the behavior sciences. Hillsdale, NJ: Erlbaum.
• Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics, 19, 15–18.
• Cook, R. D. (1979). Influential observation in linear regression. Journal of the American Statistical Association, 74(365), 169–174.
• Dorans, N. J. i Kulick, E. (1986). Demonstrating the utility of the standardization approach to assessing unexpected differential item performance on the Scholastic Aptitude Test. Journal of Educational Measurement, 23(4), 355–368.
• Dorans, N. J. (1989). Two new approaches to assessing differential item functioning: standardization and the Mantel–Haenszel method. Applied Measurement in Education, 2(3), 217–233.
• Dorans, N. J. i Holland, P. W. (2009). DIF detection and description: Mantel–Haenszel and standardization. W: P. W. Holland i H. Wainer (red.), Differential item functioning (s. 35–66). New York: Routledge.
• Grudniewska, M., Kondratek, B. (2012). Zróżnicowane funkcjonowanie zadań w egzaminach zewnętrznych w zależności od płci na przykładzie części matematyczno-przyrodniczej egzaminu gimnazjalnego. W: B. Niemierko i M. K. Szmigel (red.), Regionalne i lokalne diagnozy edukacyjne. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Haladyna, T. M. (2004). Developing and validating multiple-choice test items. London: Erlbaum.
• Holland, P. W. i Thayer, D. T. (1988). Differential item performance and the Mantel–Haenszel procedure. W: H. Wainer i H. Braun (red.), Test validity (s. 129–145). Hillsdale, NJ: Erlbaum.
• Holland, P. W. i Wainer, H. (1993). Differential item functioning. Hillsdale, NJ: Erlbaum.
• Ironson, G. H. (1982). Use of chi-square and latent trait approaches for detecting item bias. W: R. Berk (red.), Handbook of methods for detecting test bias (s. 117–155). Baltimore: Johns Hopkins University Press.
• Kingston, N. M. i Dorans, N. J. (1985). The analysis of item-ability regressions: an exploratory IRT model fit tool. Applied Psychological Measurement, 9, 281–288.
• Kondratek, B. i Grudniewska, M. (2013). Test Mantel–Haenshel oraz modelowanie IRT jako narzędzia służące do wykrywania DIF oraz opisu jego wielkości na przykładzie zadań ocenianych dychotomicznie, Edukacja, 122(2), 34–55.
• Kozielecki, J. (1975). Psychologiczna teoria decyzji. Warszawa: PWN.
• Linn, R. L., Levine, M. V., Hastings, C. N. i Wardrop, J. L. (1981). Item bias in a test of reading comprehension. Applied Psychological Measurement, 5(2), 159–173.
• Mantel, N. i Haenszel. W. (1959). Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, 22(4), 719–748.
• Muthén, B. i Lehman, J. (1985). Multiple-group IRT modeling: applications to item bias analysis. Journal of Educational Statistics, 10(2), 133–142.
• Narayanan, P. i Swaminathan, H. (1996). Identification of items that show nonuniform DIF. Applied Psychological Measurement, 20(3), 257–274.
• Pedhazur, E. J. (1997). Multiple regression in behavioral research. Explanation and prediction (wyd. 3). Belmont, CA: Wadsworth Thomson Learning.
• Sundali, J. i Croson, R. (2006). Biases in casino betting: the hot hand and the gambler's fallacy. Judgment and Decision Making, 1(1), 1–12.
• Swaminathan, H. i Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361–370.
• Szaleniec, H. (2006). Oszukiwanie na egzaminie istotnym źródłem majowej porażki. W: B. Niemierko i M. K. Szmigel (red.), O wyższą jakość egzaminów szkolnych. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Thissen, D., Steinberg, L. i Wainer, H. (1988). Use of item response theory in the study of group differences in trace lines. W: H. Wainer i H. Braun (red.), Test validity (s. 147–169). Hillsdale, NJ: Erlbaum.
• Thurstone, L. L. (1925). A method of scaling psychological and educational tests. Journal of Educational Psychology, 16, 433– 451.
• Wainer, H. (1993). Model-based standardized measurement of an item's differential impact. W: P. W. Holland i H. Wainer (red.), Differential item functioning (s. 123–135). Hillsdale, NJ: Erlbaum.
• Zwick, R. i Ercikan, K. (1989). Analysis of differential item functioning in the NAEP history assessment. Journal of Educational Measurement, 26(1), 55–66.

Notes

http://www.edukacja.ibe.edu.pl/images/numery/2014/1-7-koniewski-majkut-skorska-dif.pdf

Identifiers

ISSN

0239-6858