Trafność prognostyczna wskaźników osiągnięć gimnazjalnych względem wyników maturalnych dziewcząt i chłopców

• Authors: Świst Karolina , Skórska Paulina

Title variants

EN

Gender differences in the predictive validity of student achievement indicators from lower secondary school

• Languages of publication: PL

Abstracts

PL

Artykuł został poświęcony różnicom w trafności prognostycznej wskaźników osiągnięć gimnazjalnych (oceny, średnia ocen, wyniki egzaminu) w analizach przewidywania wyników maturalnych wśród dziewcząt i chłopców. Na różnice w wynikach może wpływać wiele czynników – psychologicznych, społecznych oraz związanych z właściwościami arkuszy testowych. Można więc przyjąć hipotezę o różnej mocy prognostycznej tych wskaźników wśród dziewcząt i chłopców. Przeanalizowane zostały dwie kohorty: osób zdających egzamin gimnazjalny w latach 2011 i 2012 oraz maturę w latach 2014 i 2015. Analizy przeprowadzono przy pomocy hierarchicznych modeli liniowych oraz modelowania IRT. Wyniki wskazują na różnice w funkcjonowaniu wskaźników osiągnięć w zależności od płci oraz dziedziny egzaminu (język polski, matematyka). Wyniki egzaminów i oceny szkolne pozwalają przewidywać sukces ucznia, jednak różnice w trafności prognostycznej wśród chłopców i dziewcząt są niewielkie.

In this article, we discuss the gender differences in the predictive validity of students’ Matura results. We use the achievement indicators (school grades, grade point average and standardized exam results) from lower secondary school as predictors of success on the Matura exams. Due to a number of psychological, socio-cultural and other factors, achievement indicators may function differentially according to gender. Thus, we hypothesize that the predictive validity itself may differ for girls and boys. We analyzed two cohorts of students – the first one took the exam at the end of lower secondary school in 2011 and the Matura in 2014, the second one took its exams in 2012 and 2015. We conducted the analysis using hierarchical linear modeling and ability level estimated within the IRT paradigm. The results show the differential functioning of achievement indicators according to gender and domain tested (mathematics and literacy). Combining exam results and school grades is the best strategy to predict the Matura’s results; however, the differences in the predictive validity between girls and boys is negligible.

Keywords

PL

badania edukacyjne; trafność prognostyczna; płeć; hierarchiczne modelowanie liniowe; ocenianie

EN

educational research; predictive validity; gender; hierarchical linear modeling; grading

• Publisher: Instytut Badań Edukacyjnych
• Journal: Edukacja
• Year: 2016
• Volume: 4(139)
• Pages: 42–60

Dates

published

2016-12-31

Contributors

author

Świst Karolina

• Instytut Badań Edukacyjnych

author

Skórska Paulina

• Instytut Badań Edukacyjnych

References

• American Educational Research Association, American Psychological Association i National Council for Measurement in Education (2014). Standards for educational and psychological testing. Washington: American Educational Research Association.
• Atkinson, R. C. i Geiser, S. (2009). Reflections on a century of college admissions tests. Educational Researcher, 38(9), 665–676.
• Bartoń, K. (2015). Package ‘MuMIn’. Pobrano z ftp://155.232.191.229/cran/web/packages/MuMIn/MuMIn.pdf
• Ben‐Shakhar, G. i Sinai, Y. (1991). Gender differences in multiple‐choice tests: the role of differential guessing tendencies. Journal of Educational Measurement, 28(1), 23–35.
• Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee’s ability. W: F. M. Lord i M. R. Novick (red.), Statistical theories of mental test scores (s. 17–20). Reading: Addison-Wesley.
• Brennan, R., Kim, J., Wenz-Gross, M. i Siperstein, G. (2001). The relative equitability of high-stakes testing versus teacher-assigned grades: an analysis of the Massachusetts Comprehensive Assessment System (MCAS). Harvard educational review, 71(2), 173–217.
• Bryk, A. S. i Raudenbush, S. W. (1992). Hierarchical linear models: applications and data analysis. Newbury Park: Sage.
• Byrnes, J. P. i Miller, D. C. (2007). The relative importance of predictors of math and science achievement: an opportunity–propensity analysis. Contemporary Educational Psychology, 32(4), 599–629.
• Carmines, E. G. i Zeller, R. A. (1979). Reliability and validity assessment. Thousand Oaks: Sage.
• Casillas, A., Robbins, S., Allen, J., Kuo, Y. L., Hanson, M. A. i Schmeiser, C. (2012). Predicting early academic failure in high school from prior academic achievement, psychosocial characteristics, and behavior. Journal of Educational Psychology, 104(2), 407–420.
• Cole, N. S. (1997). The ETS gender study: how males and females perform in educational settings. Princeton: Educational Testing Service.
• Costa Jr, P., Terracciano, A. i McCrae, R. R. (2001). Gender differences in personality traits across cultures: robust and surprising findings. Journal of personality and social psychology, 81(2), 322–331.
• Crocker, L. i Algina, J. (1986). Introduction to classical and modern test theory. Mason: Cengage Learning.
• Cronbach, L. J. i Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302.
• DeMars, C. E. (1998). Gender differences in mathematics and science on a high school proficiency exam: the role of response format. Applied Measurement in Education, 11(3), 279–299.
• Dolata, R., Hawrot, A., Humenny, G., Jasińska-Maciążek, A., Koniewski, M. i Majkut, P. (2014). Kontekstowy model oceny efektywności nauczania po pierwszym etapie edukacyjnym. Warszawa: Instytut Badań Edukacyjnych.
• Donnellan, M. B. i Lucas, R. E. (2008). Age differences in the Big Five across the life span: evidence from two national samples. Psychology and aging, 23(3), 558–566.
• Drost-Rudnicka, M. (2012). Edukacja wczesnoszkolna a problem nierówności płci – uczniowskie stereotypy postrzegania płci. W: N. Majchrzak, N. Starik i A. Zduniak (red.), Podmiotowość w edukacji wobec odmienności kulturowych oraz społecznych zróżnicowań (447–456). Poznań: Wydawnictwo Wyższej Szkoły Bezpieczeństwa.
• Fried-Buchalter, S. (1997). Fear of success, fear of failure, and the imposter phenomenon among male and female marketing managers. Sex Roles, 37(11–12), 847–859.
• Geiser, S. i Santelices, M. V. (2007). Validity of high-school grades in predicting student success beyond the freshman year: high-school record vs. standardized tests as indicators of four-year college outcomes. Research & Occasional Paper Series: CSHE. 6.07. Berkeley: Center for Studies in Higher Education, University of California.
• Goldman, R. D. i Hewitt, B. N. (1975). Adaptation‐level as an explanation for differential standards in college grading. Journal of Educational Measurement, 12(3), 149–161.
• Gromkowska-Melosik, A. (2011). Edukacja i (nie)równość społeczna kobiet: studium dynamiki dostępu. Oficyna Wydawnicza Impuls.
• Grygiel, P. (2016). Chłopięca „krzywda” – społeczny kontekst ocen szkolnych. Referat wygłoszony podczas XVI Ogólnopolskiego Zjazdu Socjologicznego, Gdańsk.
• Guiso, L., Monte, F., Sapienza, P. i Zingales, L. (2008). Culture, gender, and math. Science-New York Then Washington, 320(5880), 1164–1165.
• Haladyna, T. M. i Downing, S. M. (2004). Construct‐irrelevant variance in high‐stakes testing. Educational Measurement: Issues and Practice, 23(1), 17–27.
• Hezlett, S., Kuncel, N., Vey, A., Ones, D., Campbell, J. i Camara, W. (2001). The effectiveness of the SAT in predictive success early and late in college: a comprehensive meta-analysis. Referat wygłoszony podczas The Annual Meeting of The National Council of Measurement in Education, Seattle.
• Hox, J. J. (2010). Multilevel analysis. Techniques and application. New York: Routledge.
• Hyde, J. S. i Kling, K. C. (2001). Women, motivation, and achievement. Psychology of Women Quarterly, 25(4), 364–378.
• Johnson, P. C. (2014). Extension of Nakagawa and Schielzeth’s R2GLMM to random slopes models. Methods in Ecology and Evolution, 9(5), 944–946.
• Kobrin, J. L., Patterson, B. F., Shaw, E. J., Mattern, K. D. i Barbuti, S. M. (2008). Validity of the SAT® for predicting first-year college grade point average. Research Report, 2008-5. New York: College Board.
• Konarzewski, K. (1996). Problemy i schematy. Pierwszy rok nauki szkolnej dziecka. Warszawa: Żak.
• Kopciewicz L. (2008). Grzeczne dziewczynki, niegrzeczni chłopcy – wytwarzanie różnic rodzajowych w dydaktyczno-wychowawczej pracy szkoły. W: M. Dudzikowa i M. Czerepaniak-Walczak (red.), Wychowanie. Pojęcia. Procesy. Konteksty. Interdyscyplinarne ujęcie (t. 4, s. 349–392). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
• Lord, F. M. (1986). Maximum likelihood and Bayesian parameter estimation in item response theory. Journal of Educational Measurement, 23(2), 157–162.
• Mac an Ghaill, M. (1994). The making of men: masculinities, sexualities and schooling. Buckingham: Open University Press.
• Mau, W. C. i Lynn, R. (2001). Gender differences on the Scholastic Aptitude Test, the American College Test and college grades. Educational Psychology, 21(2), 133–136.
• Messick, S. (1989). Validity. W: R. L. Linn (red.), Educational Measurement (wyd. 3, s. 13–103). New York: American Council on Education.
• Mislevy, R. J. (1986). Bayes modal estimation in item response models. Psychometrika, 51(2), 177–195.
• Mitchell, K. J. (1990). Traditional predictors of performance in medical school. Academic Medicine, 65(3), 149–58.
• Nakagawa, S. i Schielzeth, H. (2013). A general and simple method for obtaining R2 from generalized linear mixed‐effects models. Methods in Ecology and Evolution, 4(2), 133–142.
• Niemierko, B. (1999). Pomiar wyników kształcenia. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.
• Niemierko, B. (2001). Chłodne oblicze egzaminu zewnętrznego. Edukacja, 75(3), 11–22.
• Noftle, E. E. i Robins, R. W. (2007). Personality predictors of academic outcomes: big five correlates of GPA and SAT scores. Journal of Personality and Social Psychology, 93(1), 116.
• Pankowska, D. (2005). Wychowanie a role płciowe: program edukacyjny. Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
• Pedhazur, E. J. i Schmelkin, L. P. (1991). Measurement design and analysis: an integrated approach. Hillsdale: Lawrence Erlbaum.
• Pekkarinen, T. (2014). Gender differences in strategic behaviour under competitive pressure: evidence on omission patterns in university entrance examinations. IZA Discussion Paper, 8018. Pobrano z http://ftp.iza.org/dp8018.pdf
• Perkins, R., Kleiner, B., Roey, S. i Brown, J. (2004). The high school transcript study: a decade of change in curricula and achievement, 1990–2000. Washington: National Center for Education Statistics.
• Pomerantz, E. M., Altermatt, E. R. i Saxon, J. L. (2002). Making the grade but feeling distressed: gender differences in academic performance and internal distress. Journal of Educational Psychology, 94(2), 396–404.
• Preckel, F., Goetz, T., Pekrun, R. i Kleine, M. (2008). Gender differences in gifted and average-ability students comparing girls’ and boys’ achievement, self-concept, interest, and motivation in mathematics. Gifted Child Quarterly, 52(2), 146–159.
• Ross, J. A. i Kostuch, L. (2011). Consistency of report card grades and external assessments in a Canadian province. Educational Assessment, Evaluation and Accountability, 23(2), 159–180.
• Rothstein, J. M. (2004). College performance predictions and the SAT. Journal of Econometrics, 121(1), 297–317.
• Samejima, F. (1968). Estimation of latent ability using a pattern of graded scores. [ETS Research Bulletin Series] Princeton: Educational Testing Service.
• Schmitt, D. P., Realo, A., Voracek, M. i Allik, J. (2008). Why can’t a man be more like a woman? Sex differences in Big Five personality traits across 55 cultures. Journal of Personality and Social Psychology, 94(1), 168–182.
• Schrader, S. von i Ansley, T. (2006). Sex differences in the tendency to omit items on multiple-choice tests: 1980–2000. Applied Measurement in Education, 19(1), 41–65.
• Schuler, H., Funke, U. i Baron‐Boldt, J. (1990). Predictive validity of school grades – a meta‐analysis. Applied Psychology, 39(1), 89-103.
• Severiens, S. i Dam, G. ten (1998). A multilevel meta‐analysis of gender differences in learning orientations. British Journal of Educational Psychology, 68(4), 595–608.
• Skórska, P. (2015). Gender gap in reading and writing achievements. Kwartalnik Pedagogiczny, 238(4), 139–152.
• Skórska, P. i Świst, K. (2014). Wielkość efektu płci w wewnątrzszkolnych i zewnątrzszkolnych wskaźnikach osiągnięć ucznia. W: B. Niemierko i M. K. Szmigel (red.), Diagnozy edukacyjne. Dorobek i nowe zadania (s. 89–103). Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Skórska, P., Świst, K. i Szaleniec, H. (2014). Szacowanie trafności predykcyjnej ocen szkolnych z wykorzystaniem hierarchicznego modelowania liniowego. Edukacja, 128(3), 75–94.
• Slakter, M. J., Koehler, R. A., Hampton, S. H. i Grennell, R. L. (1971). Sex, grade level, and risk taking on objective examinations. The Journal of Experimental Education, 39(3), 65–68.
• Snijders, T. A. B. i Bosker, R. J. (1999). Multilevel analysis. An introduction to basic and advanced multilevel modeling. London: Sage.
• Spencer, S. J., Steele, C. M. i Quinn, D. M. (1999). Stereotype threat and women’s math performance. Journal of experimental social psychology, 35(1), 4–28.
• Srivastava, S., John, O. P., Gosling, S. D. i Potter, J. (2003). Development of personality in early and middle adulthood: set like plaster or persistent change? Journal of Personality and Social Psychology, 84(5), 1041–1053.
• Steele, C. M. i Aronson, J. (1995). Stereotype threat and the intellectual test performance of African Americans. Journal of Personality and Social Psychology, 69(5), 797–811.
• Steinmayr, R. i Spinath, B. (2008). Sex differences in school achievement: what are the roles of personality and achievement motivation? European Journal of Personality, 22(3), 185–209.
• Suchocka, A. (2011). Przemoc symboliczna jako element ukrytego programu kształcenia polskiej szkoły. Zeszyty Naukowe Akademii Marynarki Wojennej, 52, 293–302.
• Szaleniec, H., Grudniewska, M., Kondratek, B., Kulon, F., Pokropek, A., Stożek, E. i Żółtak, M. (2013). Analiza porównawcza wyników egzaminów zewnętrznych – sprawdzian w szóstej klasie szkoły podstawowej i egzamin gimnazjalny. Warszawa: Instytut Badań Edukacyjnych.
• Szaleniec, H., Kondratek, B., Kulon, F., Pokropek, A., Skórska, P., Świst, K., Wołodźko, T. i Żółtak, M. (2015). Efekt egzaminatora w ocenianiu prac maturalnych z języka polskiego i matematyki. Warszawa: Instytut Badań Edukacyjnych.
• Vecchione, M., Alessandri, G. i Marsicano, G. (2014). Academic motivation predicts educational attainment: does gender make a difference? Learning and Individual Differences, 32, 124–131.
• Voyer, D. i Voyer, S. D. (2014). Gender differences in scholastic achievement: a meta-analysis. Psychological Bulletin, 140(4), 1174–1204.
• Willingham, W. W. i Cole, N. S. (1997). Gender and fair assessment. Mahwah: Lawrence Erlbaum.
• Willingham, W. W., Pollack, J. M. i Lewis, C. (2002). Grades and test scores: accounting for observed differences. Journal of Educational Measurement, 39(1), 1–37.
• Zahner, D., Ramsaran, L. M. i Steedle, J. T. (2012). Comparing alternatives in the prediction of college success. Referat wygłoszony podczas The Annual Meeting of the American Educational Research Association, Vancouver, Canada.
• Zawistowska, A. (2013). „Płeć matematyki”. Zróżnicowania osiągnięć ze względu na płeć wśród uzdolnionych uczniów. Studia Socjologiczne, 210(3), 75–95.
• Zill, N. i West, J. (2001). Entering kindergarten: a portrait of American children when they begin school. Washington: National Center for Education Statistics.
• Żółtak, T. (2015). Statystyczne modelowanie wskaźników edukacyjnej wartości dodanej –podsumowanie polskich doświadczeń 2005–2015. Warszawa: Instytut Badań Edukacyjnych.

Notes

http://www.edukacja.ibe.edu.pl/images/numery/2016/4-3-swist-skorska-trafnosc-prognostyczna-wskaznikow-osiagniec.pdf

Identifiers

ISSN

0239-6858