The Development of an EFL Test for the Youngster Project in Poland

• Authors: Małgorzata Krzemińska-Adamek , Wojciech Malec

Title variants

EN

The Development of an EFL Test for the Youngster Project in Poland

• Languages of publication: PL

Abstracts

PL

Tworzenie testu z języka angielskiego dla uczestników programu Youngster w Polsce Artykuł opisuje proces tworzenia testu z języka angielskiego jako obcego, przeprowadzanego za pośrednictwem internetu, przeznaczonego dla uczestników programu Youngster w Polsce. Program powstał z myślą o zapewnieniu bezpłatnej nauki języka angielskiego dla nastoletnich uczniów zamieszkujących tereny wiejskie. Jednym z wymogów programu jest zagwarantowanie skutecznych metod i instrumentów oceniania, regularnie wykorzystywanych przez nauczycieli na trzech różnych etapach nauki – na początku roku szkolnego, na końcu pierwszego semestru i na końcu roku szkolnego. Celem badania opisanego w niniejszym artykule było opracowanie testu, który mógłby pełnić nie tylko funkcje plasujące, ale także służyć skutecznej ocenie postępów uczniów biorących udział w programie. Artykuł omawia procedury związane z testowaniem próbnym, wykonanym w celu przeprowadzenia analizy jakości poszczególnych zadań, i koncentruje się przede wszystkim na tworzeniu zadań typu wybór wielokrotny.

EN

This article is a report on the development of an online assessment instrument, namely a test of English as a foreign language intended for the participants of the Youngster project in Poland. The project has been launched with a view to providing free English education for learners in rural areas. One of the requirements of the project is the provision of effective assessment procedures, regularly conducted at three different points in time - the beginning of the school year, the end of the first semester, and the end of the school year. The purpose of the study was therefore to develop an instrument which could serve both placement and progress functions within the project. This article describes the activities performed prior to the test’s operational administration, and focuses primarily on the development of multiple-choice items.

Keywords

PL

tworzenie testów językowych; zadania wyboru wielokrotnego; analiza zadań; ocena jakości dystraktorów; tworzenie testów językowych; zadania wyboru wielokrotnego; analiza zadań; ocena jakości dystraktorów

EN

EFL test development; multiple-choice format; item analysis; distractor evaluation

• Publisher: Katolicki Uniwersytet Lubelski Jana Pawła II. Towarzystwo Naukowe KUL
• Journal: Roczniki Humanistyczne
• Year: 2021
• Volume: 69
• Issue: 5
• Pages: 263-278

Dates

published

2021-06-16

Contributors

author

Małgorzata Krzemińska-Adamek

• Maria Curie-Skłodowska University, Poland

• https://orcid.org/0000-0003-2461-2397

author

Wojciech Malec

• John Paul II Catholic University of Lublin, Poland

• https://orcid.org/0000-0002-6944-8044

References

• Allan, Alastair. “Development and Validation of a Scale to Measure Test-Wiseness in Efl/Esl Reading Test-Takers.” Language Testing, vol. 9, no. 2, 1992, pp. 101–22.
• Attali, Yigal, and Tamar Fraenkel. “The Point-Biserial as a Discrimination Index for Distractors in Multiple-Choice Items: Deficiencies in Usage and an Alternative.” Journal of Educational Measurement, vol. 37, no. 1, 2000, pp. 77–86.
• Brown, James Dean, and Thom Hudson. Criterion-Referenced Language Testing. Cambridge University Press, 2002.
• Coombe, Christine, Keith Folse, and Nancy Hubley. A Practical Guide to Assessing English Language Learners. University of Michigan Press, 2007.
• Davison, Mark L., Gina Biancarosa, Sarah E. Carlson, Ben Seipel, and Bowen Liu. “Preliminary Findings on the Computer-Administered Multiple-Choice Online Causal Comprehension Assessment, a Diagnostic Reading Comprehension Test.” Assessment for Effective Intervention, vol. 43, no. 3, 2018, pp. 169-81.
• Ebel, Robert L. “Procedures for the Analysis of Classroom Tests.” Educational and Psychological Measurement, vol. 14, 1954, pp. 352–64.
• Farhady, Hossein. “Principles of Language Assessment.” The Cambridge Guide to Second Language Assessment, edited by Christine Coombe, Peter Davidson, Barry O’Sullivan, Stephen Stoynoff, Cambridge University Press, 2012, pp. 37-46.
• Field, Andy. Discovering Statistics Using Spss. 3rd ed, Sage Publications Ltd, 2009.
• Frizelle, Pauline, Clodagh O’Neill, and Dorothy V.M. Bishop. “Assessing Understanding of Relative Clauses: A Comparison of Multiple-Choice Comprehension Versus Sentence Repetition.” Journal of Child Language, vol. 44, no. 6, 2017, pp. 1435-57.
• Gyllstad, Henrik, Laura Vilkaitė, and Norbert Schmitt. “Assessing Vocabulary Size through Multiple-Choice Formats: Issues with Guessing and Sampling Rates.” ITL – International Journal of Applied Linguistics, vol. 166, no. 2, 2015, pp. 278-306.
• Haladyna, Thomas M. Developing and Validating Multiple-Choice Test Items. 3rd ed, Lawrence Erlbaum, 2004.
• Haladyna, Thomas M., and Michael C. Rodriguez. Developing and Validating Test Items. Routledge, 2013.
• Kenyon, Dorry M., and David MacGregor. “Pre-Operational Testing.” The Routledge Handbook of Language Testing, edited by Glenn Fulcher and Fred Davidson, Routledge, 2012, pp. 295-306.
• Koyama, Dennis, Angela Sun, and Gary J. Ockey. “The Effects of Item Preview on Video-Based Multiple-Choice Listening Assessments.” Language Learning & Technology, vol. 20, no. 1, 2016, pp. 148-65.
• Malec, Wojciech. Developing Web-Based Language Tests. Wydawnictwo KUL, 2018.
• Malec, Wojciech, and Małgorzata Krzemińska-Adamek. “A Practical Comparison of Selected Methods of Evaluating Multiple-Choice Options through Classical Item Analysis.” Practical Assessment, Research, and Evaluation, vol. 25, no. 1, Art. 7, 2020, pp. 1-14.
• Niemierko, Bolesław. Pomiar Wyników Kształcenia [Measurement of Learning Outcomes]. Wydawnictwa Szkolne i Pedagogiczne, 1999.
• Sonbul, Suhad, and Norbert Schmitt. “Explicit and Implicit Lexical Knowledge: Acquisition of Collocations under Different Input Conditions.” Language Learning, vol. 63, no. 1, 2013, pp. 121-59.
• Wright, Robert J. Educational Assessment: Tests and Measurements in the Age of Accountability. Sage Publications, Inc., 2007.

Identifiers

DOI

10.18290/rh21695-15