Szacowanie trafności predykcyjnej ocen szkolnych z wykorzystaniem hierarchicznego modelowania liniowego

• Authors: Paulina Skórska , Karolina Świst , Henryk Szaleniec

Title variants

EN

Estimating the predictive validity of school grades with hierarchical linear modeling

• Languages of publication: PL

Abstracts

PL

Artykuł omawia zagadnienie trafności predykcyjnej ocen szkolnych dla wyników uzyskanych w egzaminach zewnętrznych. Opierając się na ocenach szkolnych i ich średniej, oszacowano stopień, w jakim można było przewidzieć uzyskany przez ucznia wynik na egzaminie gimnazjalnym w latach 2012 i 2013. Ze względu na hierarchiczną strukturę danych, w analizach wykorzystano dwupoziomowy model regresji. Do oszacowania stopnia selekcyjności oddziałów szkolnych w gimnazjum użyto modelowania IRT. Wyniki świadczą o wysokiej mocy predykcyjnej ocen szkolnych i ich średniej, zarówno na poziomie indywidualnym, jak i na poziomie oddziału szkolnego. Współczynniki korelacji wewnątrzklasowej świadczą o wysokim stopniu selekcyjności oddziałów szkolnych. Przedstawione wyniki mają znaczenie w kontekście procesów rekrutacyjnych do szkół ponadgimnazjalnych, zwłaszcza wyboru przez ucznia konkretnego oddziału szkolnego.

EN

The issue of predictive validity of school grades relative to large-scale standardized tests is described. The extent to which the results from standardized external exams at the end of lower secondary school from 2012–2013 can be predicted on the basis of school grading (both single and average grades) was estimated. Due to the hierarchical structure of analysed data, two-level linear regression models were used. In order to estimate the level of class selectivity, IRT modelling was used. The results indicated that single school grades and their averages are very good predictors for standardized test results, both at individual and class levels. Further, intra-class correlation coefficients demonstrated a high degree of class selectivity. The results are practically applicable to high school recruitment, particularly to student choice of class.

Keywords

PL

trafność predykcyjna; model hierarchiczny; ocenianie szkolne; selekcyjność oddziałów szkolnych; egzamin zewnętrzny

EN

predictive validity; hierarchical linear modelling; school grading; class selectivity; standardized test

• Publisher: Instytut Badań Edukacyjnych
• Journal: Edukacja
• Year: 2014
• Issue: 3(128)
• Pages: 75–94

Dates

published

2014-09-29

Contributors

author

Paulina Skórska

• Instytut Badań Edukacyjnych

author

Karolina Świst

• Instytut Badań Edukacyjnych

author

Henryk Szaleniec

• Instytut Badań Edukacyjnych

References

• AERA, APA i NCME (2007). Standardy dla testów stosowanych w psychologii i pedagogice. Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
• Arizona Department of Education (2013). A–F letter grade accountability system – 2013 technical manual. Pobrano z http://www.azed.gov/research-evaluation/files/2013/11/2013-a-f-technical-manual.pdf
• Astin, A.W. (1971). Predicting academic performance in college. New York, NY: The Free Press.
• Atkinson, R. (2001). Standardized tests and access to American universities. Washington, D.C.: American Council on Education. Pobrano z http://works.bepress.com/cgi/viewcontent.cgi?article=1035&context=richard_atkinson
• Atkinson, R. i Geiser, S. (red.). (2009). Reflections on a century of college admissions test. Berkeley, CA: University of California.
• Au, W. (2007). High-stakes testing and curricular control: a qualitative metasynthesis. Educational Researcher, 36(5), 258–267.
• Bejar, I. I. i Blew, E. O. (1981). Grade inflation and the validity of the Scholastic Aptitude Test (College Board Report. No. 81–3). New York, NY: College Entrance Examination Board.
• Black, P. i Wiliam, D. (1998). Inside the black box: raising standards through classroom assessment. London: School of Education, King's College.
• Blacklow, R. S., Goepp, C. E. i Hojat, M. (1991). Class ranking models for deans’ letters of recommendation and their psychometric evaluation. Academic Medicine, 66(9), 10–12.
• Blacklow, R. S., Goepp, C. E., Hojat, M. (1993). Further psychometric evaluation of a class ranking model as a predictor of graduates’ clinical competence in the first year of residency. Academic Medicine, 68(4), 295–297.
• Brookhart, S. M. (1993). Teachers’ grading practices: meaning and values. Journal of Educational Measurement, 30(2), 123–42.
• Brookhart, S. M. (1998). Why ‘grade inflation’ is not a problem with a ‘just say no’ solution. National Forum, 78(2), 3–5.
• Camara, W. J. i Echternacht, G.(2000). The SAT I and high school grades: utility in predicting success in college. Research Report RN-10.New York, NY:College Entrance Examination Board.
• Camara, W. J., Kimmel, E., Scheuneman, J., i Sawtell, E. (2003). Whose grades are inflated? (College Board Research Report No. 2003–04). New York, NY: College Entrance Examination Board.
• Camara, W. i Michaelides, M. (2005). AP use in admissions: a response to Geiser and Santelices. College Board Research Note, May 11, 2005. Pobrano z http://www.collegeboard.com/research/pdf/051425Geiser_050406.pdf
• College Entrance Examination Board (2005). 2005 college-bound seniors: total group profile report. Pobrano z http://www.collegeboard.com/prod_downloads/about/news_info/cbsenior/yr2005/2005-college-bound-seniors.pdf
• Cronbach, L. J. (1975). Five decades of public controversy over mental testing. American Psychologist, 30(1), 1–14.
• Cureton, L. W. (1971). The history of grading practices. Measurement in Education, 2(4), 1–8.
• Dolata, R. (2008). Szkoła – segregacje – nierówności. Warszawa: Wydawnictwa Uniwersytetu Warszawskiego.
• Domański, H. i Pokropek, A. (2011). Podziały terytorialne globalizacja a nierówności społeczne. Wprowadzenie do modeli wielopoziomowych. Warszawa: Wydawnictwo IFiS PAN.
• Duffy, M., Giordano, V. A., Farrell, J. B., Paneque, O. M. i Crump, G. B. (2008). No Child Left Behind: values and research issues in high-stakes assessments. Counseling and Values, 53(1), 53–66.
• Efron, B. (1982). The jackknife, the bootstrap, and other resampling plans. Philadelphia, PA: Society for Industrial and Applied Mathematics.
• Ekstrom, R., Goertz, M., i Rock, D. (1988). Education and American youth. London: Falmer Press.
• Ekstrom, R. (1994). Gender differences in high school grades: an exploratory study. New York, NY: College Entrance Examination Board. Pobrano z https://research.collegeboard.org/sites/default/files/publications/2012/7/researchreport-1994-3-gender-differences-high-school-grades-study.pdf
• Findley, W. G. (1963).The impact and improvement of school testing programs. Chicago, IL: University of Chicago Press. Pobrano z http://www.questia.com/library/353545/the-impact-and-improvement-of-school-testing-programs
• Frary, R. B., Cross, L. H., i Weber, L. J. (1993). Testing and grading practices and opinions of secondary teachers of academic subjects: Implications for instruction in measurement. Educational Measurement: Issues and Practice, 12(3), 23–30.
• Geiser, S., i Santelices, M. V. (2007). Validity of high-school grades in predicting student success beyond the freshman year: high-school record vs standardized tests as indicators of four-year college outcomes. Berkeley, CA: Center for Studies in Higher Education, University of California.
• Geiser, S. i Studley, R. E. (2004). UC and the SAT: Predictive validity and differential impact of the SAT I and SAT II at the University of California. W: R. Zwick (red.), Rethinking the SAT: the future of standardized testing in university admissions (1–25). New York, NY: Routledge.
• Gipps, C. V. (1994). Beyond testing. Towards a theory of educational assessment. London: The Falmer Press.
• Hansford, B. C. i Hattie, J. A. (1982). The relationship between self and achievement/performance measures. Review of Educational Research, 52(1), 123–142.
• Hezlett, S., Kuncel, N., Vey, A., Ones, D., Campbell, J. i Camara, W. (2001). The effectiveness of the SAT in predictive success early and late in college: a comprehensive meta-analysis. Referat wygłoszony w trakcie National Council of Measurement in Education. Seattle, WA.
• Hornowska, E. (2007). Testy psychologiczne. Teoria i praktyka. Warszawa: Scholar.
• Hox, J. J. (2010). Multilevel analysis. Techniques and application. New York, NY: Routledge.
• Instytut Badań Edukacyjnych (2012). Diagnoza Kompetencji Gimnazjalistów: Historia i WOS. Raport z badania. Pobrano z http://eduentuzjasci.pl/images/stories/badania/diagnizakg/dkghistoria.pdf
• Instytut Badań Edukacyjnych (2013). Diagnoza Kompetencji Gimnazjalistów: Historia. Raport z badania. Pobrano z http://eduentuzjasci.pl/images/stories/badania/diagnizakg/Historia_raport_DKG_2012w.pdf
• Kidder, W. C., i Rosner, J. (2002). How the SAT creates “built-in headwinds”: an educational and legal analysis of disparate impact. Santa Clara Law Review, 43(1), 131–211.
• Kobrin, J. L., Patterson, B. F., Shaw, E. J., Mattern, K. D., i Barbuti, S. M. (2008). Validity of the SAT for predicting first-year college grade point average. New York, NY: The College Board.
• Konarzewski, K. (1991). Problemy i schematy: pierwszy rok nauki szkolnej dziecka. Poznań: Akademos.
• Linn, R. (2000). Assessments and accountability. Educational Researcher, 29(2), 4–16.
• Liszka, K. (2001). Nauczycielskie kryteria oceniania uczniów. Katowice: Wydawnictwo Uniwersytetu Śląskiego.
• Marquand, J., (1993). Studium wstępne krajowego systemu oceniania w polskim szkolnictwie ponadpodstawowym. Warszawa: Fundusz Współpracy PHARE, BKKK.
• Messick, S. (1989). Validity. W: R. L. Linn (red.), Educational Measurement (wyd. 3, 13–103). New York, NY: American Council on Education.
• Niemierko, B. (1999). Pomiar wyników kształcenia. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.
• Niemierko, B. (2001). Chłodne oblicze egzaminu zewnętrznego. Edukacja, 75(3), 11–22.
• Podstawa programowa z komentarzami. Tom 4 – Edukacja historyczna i obywatelska w szkole podstawowej, gimnazjum i liceum. (2012). Pobrano z https://archiwum.men.gov.pl/index.php?option=com_content&view=article&id=2060%3Atom-4-edukacja-historyczna-i-obywatelska-w-szkole-podstawowej-gimnazjum-i-liceum-&catid=230%3Aksztacenie-i-kadra-ksztacenie-ogolne-podstawa-programowa&Itemid=290
• Nowak, S. (1970). Metodologia badań socjologicznych, Warszawa: PWN.
• Ramist, L., Lewis, C., i McCamley, L. (1990). Implications of using freshman GPA as the criterion for the predictive validity of the SAT. W: W. W. Willingham, C. Lewis, R. Morgan, i L. Ramist (red.), Predicting college grades: an analysis of institutional trends over two decades (253–288). Princeton, NJ: Educational Testing Service.
• Recchia, A. (2010). R-squared measures for two-level hierarchical linear models using SAS. Journal of Statistical Software, 32(2), 1–9.
• Rothstein, J. M. (2004). College performance predictions and the SAT. Journal of Econometrics, 121(1–2), 297–317.
• Samejima, F. (1969). Estimation of latent ability using a pattern of graded scores (Psychometric Monograph nr 17). Richmond, VA: Psychometric Society.
• Schuler, H. Funke U. i Baron-Boldt, J. (1990). Predictive validity of school grades – a meta-analysis. Applied Psychology: In International Review, 39(1), 83–103.
• Skorupiński, P. M. (2013). Modele trafności pomiaru. W: M. Karwowski (red.), Ścieżki rozwoju edukacyjnego młodzieży – szkoły pogimnazjalne. Trafność wskaźników edukacyjnej wartości dodanej dla szkół maturalnych (13–26). Warszawa: Wydawnictwo IFiS PAN.
• Smith, M. L. (1991). Put to the test: the effects of external testing on teachers. Educational Researcher, 20(5), 8–11.
• Smith, M. L., Edelsky, C., Draper, K., Rottenberg, C. i Cherland, M. (1989). The role of testing in elementary schools. Los Angeles, CA: Center for Research on Evaluation, Standards, and Student Testing, University of California.
• Snijders, T. A. B i Bosker, R. J. (1999). Multilevel analysis. An introduction to basic and advanced multilevel modeling. London: Sage Publications.
• Stockford, S. M. (2009). Meta-analysis of intraclass correlation coefficients from multilevel models of educational achievement [Rozprawa doktorska]. Phoenix, AZ: Arizona State University. Pobrano z http://search.proquest.com/docview/304845471
• Szaleniec, H. (2006). Oszukiwanie na egzaminie istotnym źródłem majowej porażki. W: B. Niemierko i M. K. Szmigel (red.), O wyższą jakość egzaminów szkolnych. Część I Etyka egzaminacyjna i zagadnienia ogólne. Referat wygłoszony na XII Krajowej Konferencji Diagnostyki Edukacyjnej, Lublin, 9–11. 10. 2010 r. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Szaleniec, H. (2010). Czy egzaminy zewnętrzne wpływają na wewnątrzszkolne ocenianie i politykę edukacyjną? W: B. Niemierko i M. K. Szmigel (red.), Teraźniejszość i przyszłość oceniania szkolnego. Referat wygłoszony na XVI Krajowej Konferencji Diagnostyki Edukacyjnej,, Toruń, 22–24 10. 2010 r. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Szaleniec, H., Grudniewska, M., Kondratek, B., Kulon, F., Pokropek, A., Stożek, E. i Żółtak, M. (2013). Analiza porównawcza wyników egzaminów zewnętrznych – sprawdzian w szóstej klasie szkoły podstawowej i egzamin gimnazjalny. Warszawa: Instytut Badań Edukacyjnych.
• Szyling, G. (2011). Nauczycielskie praktyki oceniania poza standardami. Kraków: Oficyna Wydawnicza Impuls.
• Ustawa z dnia 7 września 1991 r. o systemie oświaty (Dz.U. 1991 nr 95, poz. 425 z późn. zm.). Pobrano z http://isap.sejm.gov.pl/DetailsServlet?id=WDU19910950425
• Ustawa z dnia 6 grudnia 2013 r. o zmianie ustawy o systemie oświaty oraz niektórych innych ustaw (Dz.U. 2014, poz. 7). Pobrano z http://isap.sejm.gov.pl/DetailsServlet?id=WDU20140000007
• Willingham, W. W., Lewis, C., Morgan, R. I. i Ramist, L. (1990). Predicting College grades: an analysis of institutional trends over two decades. Princeton, NJ: Educational Testing Service.
• Willingham, W. W., Pollack, J. M., i Lewis, G. (2002). Grades and test scores: accounting for observed differences. Journal of Educational Measurement, 39(1), 1—37.
• Wojciszke, B. (2001). Psychologia oceniania: mechanizmy, pułapki, środki zaradcze. W: A. Brzezińska i J. Brzeziński (red.), Ewaluacja procesu kształcenia w szkole wyższej (s. 211–237). Poznań: Wydawnictwo Fundacji Humaniora.
• Young, J. W. (1990). Adjusting the cumulative GPA using item response theory. Journal of Educational Measurement, 27(2), 175–186.
• Zahner, D., Ramsaran, L. M., i Steedle, J. T. (2012). Comparing alternatives in the prediction of college success. Referat wygłoszony na Annual Meeting of the American Educational Research Association. Vancouver, Canada.
• Ziomek, R. L. i Svec, J. C. (1995). High school grades and achievement: evidence of grade inflation. (ACT Research Report 1995-3). Iowa City, IA: American College Testing.
• Zwick, R., i Himelfarb, I. (2011). The effect of high school socioeconomic status on the predictive validity of SAT scores and high school grade-point average. Journal of Educational Measurement, 48(2), 101–121.
• Zwick, R. i Mislevy, R. J. (2011). Scaling and linking through-course summative assessments. Princeton, NJ: Center for K-12 Assessment and Performance Management, Educational Testing Service.

Notes

http://www.edukacja.ibe.edu.pl/images/numery/2014/3-5-skorska-i-in-szacowanie-trafnosci-predykcyjnej.pdf

Identifiers

ISBN

0239-6858