Language testing: towards a methodology for the study of the method effect

• Authors: Wojciech Malec

Title variants

PL

Sprawdzanie umiejętności w nauce języka: w stronę metodologii badania efektu metody

Abstracts

PL

Artykuł podejmuje kwestię metodologii badania efektu metody w kontekście testów sprawdzających. Podczas gdy w tradycyjnych badaniach efektu metody w pomiarze różnicującym stosowana jest oparta na korelacjach macierz wielu cech – wielu metod, w przypadku pomiaru sprawdzającego kluczową rolę odgrywa istotność różnicy między średnimi, ponieważ trudność zadań testowych ma bezpośredni wpływ na decyzje klasyfikacyjne. Autor zwraca szczególną uwagę na strukturę eksperymentu oraz sposoby kontrolowania wpływu zmiennych zakłócających w planach z powtarzanym pomiarem.

EN

This article discusses the methodology for investigating the effect of item format on test performance. While correlational procedures have traditionally been used in examinations of the method effect in the context of norm-referenced tests, the signifi cance of differences between means is more important for criterion-referenced testing because test diffi culty has a direct influence on classification decisions. Special attention is given to ways of controlling confounding factors in repeated-measures experimental designs.

Keywords

EN

language testing; method effect; criterion-referenced measurement; repeated-measures designs

PL

testowanie języka obcego; efekt metody; pomiar sprawdzający; plany z powtarzanym pomiarem

• Publisher: Akademia Zamojska
• Journal: Facta Simonidis
• Year: 2008
• Volume: 1
• Issue: 1
• Pages: 225-243

Dates

published

2008

Contributors

author

Wojciech Malec

References

• Ackroyd S., Hughes J.A., Data collection in context, Harlow 1992.
• Alderson J.C., Clapham C., Wall D., Language test construction and evaluation, Cambridge 1995.
• Alderson J.C., Urquhart A.H., The effect of students’ academic discipline on their performance on ESP reading tests, „Language Testing”, 1985, no. 2.
• Arnaud P., Vocabulary and grammar: a multitrait-multimethod investigation, „AILA Review”, 6 (1989).
• Bachman L.F., Fundamental considerations in language testing, Oxford 1990.
• Bachman L.F., Modern language testing at the turn of the century: assuring that what we count counts, „Language Testing”, 2000, no. 1.
• Bachman L.F., Palmer A.S., Language testing in practice: designing and developing useful language tests, Oxford 1996.
• Bachman L.F., Statistical analyses for language assessment, Cambridge 2004.
• Brown J.D., Hudson T., Criterion-referenced language testing, Cambridge 2002.
• Brzeziński J., Badania eksperymentalne w psychologii i pedagogice, Warszawa 2000.
• Brzeziński J., Metodologia badań psychologicznych, wyd. 3, Warszawa 2002.
• Campbell D.T., Fiske D.W., Convergent and discriminant validation by the multitrait-multimethod matrix, „Psychological Bulletin”, 1959, no. 2.
• Cochran W.G., Cox G.M., Experimental designs, New York 1957.
• Donnelly R.A., The complete idiot’s guide to statistics, Indianapolis 2004.
• Ferguson G.A., Statistical analysis in psychology and education, New York 1971.
• Ferguson G.A., Takane Y., Analiza statystyczna w psychologii i pedagogice, tłum. M. Zagrodzki, Warszawa 1999.
• Field A., Discovering statistics using SPSS, London 2005.
• Fine H.B., College algebra, Providence 2005.
• Francuz P., Mackiewicz R., Liczby nie wiedzą, skąd pochodzą: przewodnik po metodologii i statystyce nie tylko dla psychologów, Lublin 2005.
• Freedle R., Kostin I., The prediction of TOEFL reading comprehension item diffi culty for expository prose passages for three item types: main idea, inference, and supporting idea items, Research Report No. 93-13. Princeton 1993.
• Kobayashi M., Method effects on reading comprehension test performance: text organization and response format, „Language Testing”, 2002, no. 2.
• Koshy T., Discrete mathematics with applications, Burlington 2004.
• Malec W., Efekt metody w pomiarze sprawdzającym na przykładzie testowania kolokacji języka angielskiego, w: Uczenie się i egzamin w oczach uczniów, red. B. Niemierko, M.K. Szmigel, Kraków 2007.
• Malec W., The impact of item format on test performance in criterion-referenced assessment of collocations, KUL 2006 [PhD thesis].
• Microsoft Excel, Version 11.5612.5606, Microsoft Corporation 2003.
• Pavkov T.W., Pierce K.A., Do biegu, gotowi – start! Wprowadzenie do SPSS dla Windows, tłum. J. Buczny, Gdańsk 2005.
• Radźko A., Skuteczność metod statystycznych i warunki ich stosowania w badaniach pedagogicznych, w: T. Pilch and T. Bauman, Zasady badań pedagogicznych: strategie ilościowe i jakościowe, Warszawa 2001.
• Shohamy E., Does the testing method make a difference? The case of reading comprehension, „Language Testing”, 1984, no. 2.
• SPSS for Windows, Release 14.0.0, SPSS Incorporated 2005.

Identifiers

DOI

10.56583/fs.333

Biblioteka Nauki

26850769