PL EN


Journal
2014 | 2(127) | 67–84
Article title

Konsekwencje błędnego określenia rodzaju zadania testowego

Title variants
EN
Incorrect classification of item response formats – consequences for test validity
Languages of publication
PL
Abstracts
PL
Przedmiotem artykułu jest wpływ niepoprawnego określenia rodzaju zadania na trafność wyników egzaminu. W wyniku przeglądu zadań części matematyczno-przyrodniczej egzaminu gimnazjalnego w latach 2002–11 zidentyfikowano 9 zadań uznanych przez CKE za otwarte, mimo że treściowo i psychometrycznie funkcjonowały one jak zamknięte. Dla jednego z tych zadań przeprowadzono studium przypadku z wykorzystaniem modelowania IRT. Omówiony przypadek dowodzi zgadywania poprawnej odpowiedzi w zadaniach błędnie zakwalifikowanych jako zadania otwarte.
EN
The article demonstrates the consequences on validity when test items are misclassified as constructed-response but in fact function as selected-response. From the review of items included in the scientific part of the national exam (2002–11) that concludes 3-year lower secondary school, 9 items, which were classified as constructed-response but functioning in content and psychometrically as selected-response, were identified. One such item was examined in a case study using IRT modelling. The study showed how guessing of correct responses to items might influence test validity when using an incorrectly classified format.
Journal
Year
Issue
Pages
67–84
Physical description
Dates
published
2014-06-30
Contributors
  • Instytut Badań Edukacyjnych
  • Instytut Badań Edukacyjnych
  • Instytut Badań Edukacyjnych
References
  • Ackerman, T. A. i Smith, P. L. (1988). A comparison of the information provided by essay, multiple-choice, and free-response writing tests. Applied Psychological Measurement, 12(2), 117–128.
  • AERA, APA i NCME. (2007). Standardy dla testów stosowanych w psychologii i pedagogice. Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
  • Birnbaum, A. (1968). Some latent trait models. W: F. M. Lord i M. R. Novick (red.), Statistical theories of mental test scores (s. 397–472). Reading, MA: Addison–Wesley.
  • CKE (2005a). Przygotowanie propozycji pytań, zadań i testów do przeprowadzenia sprawdzianu i egzaminu gimnazjalnego [Niepublikowane procedury ustalone na zebraniu dyrektorów CKE i OKE w dniu 24 listopada 2005 r.].
  • CKE (2005b). Egzamin gimnazjalny 2005. Sprawozdanie. Pobrano z http://cke.edu.pl/images/stories/Sprawozdania2005/egzamin%20gimnazjalny%202005%20sprawozdanie.pdf
  • CKE (2007). Osiągnięcia uczniów kończących gimnazjum w roku 2007. Sprawozdanie z egzaminu gimnazjalnego 2007. Pobrano z http://cke.edu.pl/images/stories/EGZ_GIMN_07_SPRAW.zip
  • CKE (2008).Osiągnięcia uczniów kończących gimnazjum w roku 2008. Sprawozdanie z egzaminu gimnazjalnego 2008. Pobrano z http://cke.edu.pl/images/stories/Egz_gimn_2008_sprawozdanie.rar
  • CKE (2009).Osiągnięcia uczniów kończących gimnazjum w roku 2009. Sprawozdanie z egzaminu gimnazjalnego 2009. Pobrano z http://cke.edu.pl/images/stories/Wyniki_09/raport_gimnazjum_2009.pdf
  • CKE (2010).Osiągnięcia uczniów kończących gimnazjum w roku 2010. Sprawozdanie z egzaminu gimnazjalnego 2010. Pobrano z http://cke.edu.pl/images/stories/001_Gimnazjum/spr_gimn_2010.pdf
  • CKE (2011a). Egzamin w klasie trzeciej gimnazjum z zakresu przedmiotów matematyczno-przyrodniczych (GM-1-112). Pobrano z http://cke.edu.pl/images/stories/0001_Gimnazja_2011/mat/gm-1-112.pdf
  • CKE (2011b). Egzamin gimnazjalny 2011 część matematyczno-przyrodnicza. Klucz punktowania zadań. Pobrano z http://www.cke.edu.pl/images/stories/0001_Gimnazja_2011/mat/klucz%20punktowania_1.pdf
  • CKE (2011c).Osiągnięcia uczniów kończących gimnazjum w roku 2011. Sprawozdanie z egzaminu gimnazjalnego 2010. Pobrano z http://cke.edu.pl/images/stories/0001_Gimnazja_2011/spr_gim.pdf
  • Cronbach, L. J. (1984). Essential of psychological testing (wyd. 4). New York: Harper&Row.
  • DeMars, C. E. (2000). Test stakes and item format interactions. Applied Measurement in Education, 13(1), 55–77.
  • Downing, S. M. (2009). Written tests: constructed-response and selected-response formats. W: S. M. Downing i R. Yudkowsky (red.), Assessment in Health Professions Education (s. 149–185). New York, NY: Routledge.
  • Ebel, R. L. i Frisbie, D. A. (1991). Essentials of educational measurement. Englewood Cliffs, NJ: Prentice Hall.
  • Haladyna, T. M., Downing, S.M. i Rodriguez, M. C. (2002). A Review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement In Education, 15(3), 309–334.
  • Hambleton, R. K., Swaminathan, H., i Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage.
  • Han, K. T. (2012). Fixing the c parameter in the three-parameter logistic model. Practical Assessment, Research & Evaluation, 17(1). Pobrano z http://pareonline.net/pdf/v17n1.pdf
  • Hayes, J. R., i Flower, L. S. (1980). Identifying the organization of writing processes. W: E. W. Gregg i E. R. Steinberg (red.), Cognitive processes in writing (3–30). Hillsdale, NJ: Lawrence, Erlbaum.
  • Hohensinn, C. i Kubinger, K. D. (2011). Applying item response theory methods to examine the impact of different response format. Educational and Psychological Measurement, 71(4), 732–746.
  • In’nami, Y., i Koizumi, R. (2009). A meta-analysis of test format effects on reading and listening test performance: Focus on multiple-choice and open-ended formats. Language Testing, 26(2), 219–244.
  • Kondratek, B. i Pokropek, A. (2013). IRT i pomiar edukacyjny. Edukacja, 124(4), 42–66.
  • Linden, W. J. van der i Hambleton, R. K. (red.). (1997). Handbook of modern item response theory. New York: Springer.
  • Lord, F. M. (1974) Estimation of latent ability and item parameters when there are omitted responses. Psychometrika, 39(2), 247–264.
  • Maydeu-Olivares, A. (2013). Goodness-of-fit assessment of item response theory models. Measurement: Interdisciplinary Research and Perspective, 11(3), 71–101.
  • McKinley, R., i Mills, C. (1985). A comparison of several goodness-of-fit statistics. Applied Psychological Measurement, 9(1), 49–57.
  • MEN (1999). Rozporządzenie Ministra Edukacji Narodowej i Sportu z dnia 15 lutego 1999 r. w sprawie podstawy programowej kształcenia ogólnego (Dz.U. 1999 Nr 14, poz. 129). Pobrano z http://isap.sejm.gov.pl/DetailsServlet?id=WDU19990140129
  • MEN (2007). Standardy wymagań będące podstawą przeprowadzania egzaminu w ostatnim roku nauki w gimnazjum. Załącznik do rozporządzenia Ministra Edukacji Narodowej z dnia 28 sierpnia 2007 r. (Dz.U. z 2007 r. Nr 157, poz. 1102). Pobrano z http://www.gim-nt.com/download/rozporzadzenie_28082007.pdf
  • Neidorf, T. S., Binkley, M., i Stephens, M. (2006). Comparing science content in the National Assessment of Educational Progress (NAEP) 2000 and Trends in International Mathematics and Science Study (TIMSS) 2003 Assessments (NCES 2006–026). Pobrano z http://nces.ed.gov/pubsearch
  • Niemierko, B. (1975). ABC Testów osiągnięć szkolnych. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.
  • Niemierko, B. (1999). Pomiar wyników kształcenia. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.
  • OECD (2013). PISA 2012 Assessment and analytical framework: mathematics, reading, science, problem solving and financial literacy. Pobrano z http://dx.doi.org/10.1787/9789264190511-en
  • Okręgowa Komisja Egzaminacyjna w Krakowie (bdw.). Zadania egzaminacyjne i ich ocenianie. Pobrano z http://www.oke.krakow.pl/szkolenia/materialy_III.pdf
  • Orlando, M. i Thissen, D. (2000). Likelihood-based item-fit indices for dichotomous item response theory models. Applied Psychological Measurement, 24(1), 50–64.
  • Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research.
  • Rauthmann, J. F. (2011). Not only item content but also item format is important: taxonomizing item format approaches. Social Behavior and Personality, 39(1), 119–128.
  • Samejima, F. (1969). Estimation of latent ability using a pattern of graded scores [Psychometric Monograph nr 17]. Richmond, VA: Psychometric Society.
  • Szaleniec H. i Dolata R. (2012). Funkcje krajowych egzaminów w systemie edukacji. Polityka Społeczna. Polityka Edukacyjna: szanse i wyzwania. Nr 1 tematyczny, 37–41.
  • Tyralska-Wojtycza, E. (2010). Nowa formuła egzaminu gimnazjalnego – strata czy zysk dla przedmiotów przyrodniczych? W: B. Niemierko i K.Szmigel (red.), Teraźniejszość i przyszłość oceniania szkolnego. Materiały z XVI Krajowej Konferencji Diagnostyki Edukacyjnej, Toruń, 22–24.10.2010 r. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
  • Wood, E. (2003). What are extended matching sets questions? BEE-j (1,1). Pobrano z http://bio.ltsn.ac.uk/journal/vol1/beej-1-2.htm
Notes
http://www.edukacja.ibe.edu.pl/images/numery/2014/2-5-skorska-i-in-konsekwencje-blednego-okreslania-rodzaju-zadania-testowego.pdf
Document Type
Publication order reference
Identifiers
ISSN
0239-6858
YADDA identifier
bwmeta1.element.desklight-a1f3697c-ccf2-440c-9acc-26c6bbe96ada
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.