Testy osiągnięć szkolnych TOS3: przykład narzędzia skonstruowanego z wykorzystaniem modelu Rascha

• Authors: Aleksandra Jasińska , Michał Modzelewski

Title variants

EN

TOS3 school achievement tests – a set of three tests developed using the Rasch measurement model

• Languages of publication: PL

Abstracts

PL

Większość stosowanych w Polsce testów osiągnięć szkolnych pozbawionych jest mocnego uzasadnienia swojej trafności w postaci szczegółowej dokumentacji. Sytuacja ta wpływa negatywnie na rozwój metodologii konstrukcji tych narzędzi. Artykuł stanowi opis zestawu trzech standaryzowanych testów osiągnięć szkolnych TOS3 wykorzystanych w ramach dwóch badań. Testy te służą pomiarowi osiągnięć szkolnych z obszaru edukacji polonistycznej i matematycznej uczniów kończących I etap edukacyjny. W artykule przedstawiono proces konstrukcji testów osiągnięć z wykorzystaniem modelu Rascha (szczególnego przypadku jednoparametrycznego modelu IRT). Udokumentowano także trafność i rzetelność TOS3, wykorzystując wyniki dwóch reprezentatywnych badań (N > 5000). Artykuł pokazuje korzyści wynikające z wykorzystania modelu pomiarowego podczas budowy narzędzi. Opisane doświadczenia mogą być źródłem wskazówek dla twórców przyszłych testów osiągnięć szkolnych w Polsce.

EN

Lack of detailed documentation on the majority of achievements tests used in schools in Poland has been a barrier to adequately establish their validity. This has presented an impediment to the development of such tests in Poland. The article contains the description of a set of three standardised school achievement tests, TOS3, which were used in two separate studies. The TOS3 tests were designed to measure school achievement in language (Polish) and mathematics after the first three years of school. The article describes the development of the tests using the Rasch measurement model (a special case of the 1PL IRT model). The validity and reliability of the TOS3 tests is also documented, based on the results of the two representative studies (N > 5000). The article describes the benefits of a choice of a measurement model at the stage of test development. The described methodology of TOS3 tests development may be of value to creators of future achievement tests in Poland.

Keywords

PL

pomiar dydaktyczny; pomiar osiągnięć szkolnych; psychometria; IRT; model Rascha; konstrukcja testów; rzetelność; trafność; TOS3

EN

educational measurement; school achievement measurement; psychometrics; IRT; Rasch model; test development; reliability; validity; TOS3

• Publisher: Instytut Badań Edukacyjnych
• Journal: Edukacja
• Year: 2014
• Issue: 2(127)
• Pages: 85–107

Dates

published

2014-06-30

Contributors

author

Aleksandra Jasińska

• Instytut Badań Edukacyjnych

author

Michał Modzelewski

• Instytut Badań Edukacyjnych

References

• Adams, R. J. (2005). Reliability as a measurement design effect. Studies in Educational Evaluation, 31(2–3), 162–172. doi:10.1016/j.stueduc.2005.05.008
• Anastasi, A. i Urbina, A. (1999). Testy psychologiczne. Warszawa: Pracownia Testów Psychologicznych Polskiego Towarzystwa Psychologicznego.
• Aubrey, C., Godfrey, R. i Dahl, S. (2006). Early mathematics development and later achievement: Further evidence. Mathematics Education Research Journal, 18(1), 27–46. doi:10.1007/BF03217428
• Ayala, R. J. de (2009). The theory and practice of item response theory. New York: Guilford Press.
• Baghaei, P. (2008). Local dependency and Rasch measures. Rasch Measurement Transactions, 21(3), 1105–1106.
• Boland, T. (1993). The importance of being literate: reading development in primary school and its consequences for the school career in secondary education. European Journal of Psychology of Education, 8(3), 289–305. doi:10.1007/BF03174083
• Dolata, R. (2008). Szkoła, segregacje, nierównosci. Warszawa: Wydawnictwa Uniwersytetu Warszawskiego.
• Dolata, R., Putkiewicz, E i Wiłkomirska, A. (2004). Reforma egzaminu maturalnego – oceny i rekomendacje: raport z badań. Warszawa: Instytut Spraw Publicznych.
• Downing, S. M. (2006a). Selected-response item formats in test development. W: Handbook of Test Development (s. 131–153). New York, NY: Lawrence Erlbaum.
• Downing, S. M. (2006b). Twelve steps for effective test development. W: S. M. Downing i T. M. Haladyna (red.), Handbook of Test Development (s. 3–25). New York, NY: Lawrence Erlbaum.
• Ferrer, E. i McArdle, J. J. (2004). An experimental analysis of dynamic hypotheses about cognitive abilities and achievement from childhood to early adulthood. Developmental Psychology, 40(6), 935–952.
• Haladyna, T. M., Downing, S. M. i Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment applied measurement in education. Applied Measurement in Education, 15(3), 309–334.
• Jakubowski, M. i Pokropek, A. (2009). Badając egzaminy: podejście ilościowe w badaniach edukacyjnych. Warszawa: Centralna Komisja Egzaminacyjna.
• Jasińska, A. (2010). Pomiar gotowości szkolnej za pomocą skali quasi-obserwacyjnej. W: B. Niemierko i M. K. Szmigel (red.), Teraźniejszość i przyszłość oceniania szkolnego (s. 415–424). Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Jasińska, A. i Modzelewski, M. (2012). Można inaczej. Wykorzystanie IRT do konstrukcji testów osiągnięć szkolnych. Referat wygłoszony na XVIII Krajowej Konferencji Diagnostyki Edukacyjnej W: B. Niemierko i M. K. Szmigel (red.), Regionalne i lokalne diagnozy edukacyjne. (s. 157–168). Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Jaworowska, A. i Szustrowa, T. (1991). Podręcznik do testu matryc Ravena. Wersja standard (1956). Polska standaryzacja 1989 (5;11–15;11). Warszawa: Pracownia Testów Psychologicznych Polskiego Towarzystwa Psychologicznego.
• Kane, M. (2006). Content-related evidence in test development. W: Handbook of Test Development (s. 131–153). New York, NY: Lawrence Erlbaum.
• Karwowski, M. i Dziedziewicz, D. (2012). Test umiejętności na starcie szkolnym. Podręcznik. Warszawa: Instytut Badań Edukacyjnych.
• Konarzewski, K. (2012). TIMSS i PIRLS 2011. Osiągnięcia szkolne polskich trzecioklasistów w perspektywie międzynarodowej. Warszawa: Centralna Komisja Egzaminacyjna.
• Kondratek, B. i Grudniewska, M. (2013). Test Mantel-Haenshel oraz modelowanie IRT jako narzędzia służące do wykrywania DIF oraz opisu jego wielkości na przykładzie zadań ocenianych dychotomicznie. Edukacja, 122(2), 34–55.
• Kondratek, B. i Pokropek, A. (2013). IRT i pomiar edukacyjny. Edukacja, 124(4), 42–66.
• Martin, M. O. i Mullis, I. V. S. (red.). (2013). Methods and procedures in TIMSS and PIRLS 2011. Chestnut Hill, MA: TIMSS i PIRLS International Study Center.
• Masters, G. N. i Wright, B. D. (1997). The partial credit model. W: Handbook of modern item response theory (s. 101–122). New York, NY: Springer.
• Pregler, A. (red.). (2013). Ogólnopolskie badanie umiejętności trzecioklasistów. Raport OBUT 2013. Warszawa: Instytut Badań Edukacyjnych.
• Pregler, A. i Wiatrak, E. (red.). (2011). Ogólnopolskie badanie umiejętności trzecioklasistów. Raport OBUT 2011. Warszawa: Centralna Komisja Egzaminacyjna.
• Pregler, A. i Wiatrak, E. (red.). (2012). Ogólnopolskie badanie umiejętności trzecioklasistów. Raport OBUT 2012. Warszawa: Centralna Komisja Egzaminacyjna.
• Rasch, G., (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research.
• Rozporządzenie Ministra Edukacji Narodowej z dnia 23 grudnia 2008 r. w sprawie podstawy programowej wychowania przedszkolnego oraz kształcenia ogólnego w poszczególnych typach szkół (Dz. U. z dnia 15 stycznia 2009 r. Nr 4, poz. 17 z późn. zm.)
• Slavin, R. E., Karweit, N. L. i Wasik, B. A. (1992). Preventing early school failure: what works? Educational Leadership, 50(4), 10–18.
• Sternberg, R. J., Grigorenko, E. L. i Bundy, D. A. (2001). The predictive value of IQ. Merrill-Palmer Quarterly, 47(1), 1–41.
• Teo, A., Carlson, E., Mathieu, P. J., Egeland, B. i Sroufe, L. A. (1996). A prospective longitudinal study of psychosocial predictors of achievement. Journal of School Psychology, 34(3), 285–306.
• Wright, B. D. (1990). What is information? Rasch Measurement Transactions, 4(2), 109.
• Wu, M. (2005). The role of plausible values in large-scale surveys. Studies in Educational Evaluation, 31(2–3), 114–128. doi:10.1016/j.stueduc.2005.05.005
• Wu, M., Adams, R. J., Wilson, M. R. i Haldane, S. A. (2007). ACER ConQuest version 2.0: Generalised Item Response Modelling Software. Melbourne: ACER Press.

Notes

http://www.edukacja.ibe.edu.pl/images/numery/2014/2-6-jasinska-modzelewski-tos3.pdf

Identifiers

ISSN

0239-6858