Ewaluacja projektów i abstraktów – wpływ indywidualnego stylu ewaluacji na oceny

• Authors: Król Grzegorz , Katarzyna Kinga Kowalczyk

Title variants

EN

Evaluation of grant proposals and abstracts – the influence of individual evaluation style on ratings

• Languages of publication: PL

Abstracts

PL

W artykule przedstawiamy zarys psychologicznego modelu ewaluacji oraz wynik analizy ocen 673 abstraktów zgłoszonych na międzynarodową konferencję i 323 projektów badawczych. W obu przypadkach jeden ewaluator (recenzent) dokonywał oceny wielu projektów lub abstraktów, co pozwoliło na wykazanie wpływu indywidualnych stylów ewaluacji (dla 18 ewaluatorów projektów badawczych i 33 recenzentów abstraktów), operacjonalizowanych przez poziom łagodności/surowości i stopień różnicowania ocen. Pokazano także związek kolejności oceniania z surowością ocen (pierwsze 15 abstraktów ocenianych było surowiej niż reszta), co zinterpretowano za pomocą dwóch alternatywnych wyjaśnień: stabilizacji utajonego wzorca porównawczego oraz zmęczenia.

EN

In this article we present an outline of psychological model of evaluation and results of ratings analysis for 673 abstracts submitted to international conference and 323 grant proposals. In both cases one evaluator (reviewer) evaluated many proposals or abstracts, which allowed us to demonstrate individual evaluation style (for 18 grant proposals evaluators and 33 abstract reviewers), operationalized by leniency/severity level and degree of ratings differentiation. We showed as well relation between rank order and severity rating (first 15 abstracts were rated more severely than others). It is suggested that this relation can be explained by two alternative explanations: stabilization of implicit comparative standard and fatigue.

Keywords

PL

ewaluacja; utajone wzorce; recenzje; efekt łagodności; różnicowanie ocen

EN

evaluation; implicit standards; reviews; leniency terror; ratings differentiation

• Publisher: Uniwersytet Warszawski. Wydział Nauk Ekonomicznych
• Journal: Problemy Zarządzania
• Year: 2014
• Issue: 1/2014 (45)
• Pages: 137-155

Dates

issued

2014-01-30

Contributors

author

Król Grzegorz

• Wydział Zarządzania, Uniwersytet Warszawski

author

Katarzyna Kinga Kowalczyk

• Wydział Zarządzania, Uniwersytet Warszawski

References

• Bernardin, H.J. i Pence, E.C. (1980). Effects of Rater Training. Journal of Applied Psychology, 65, 60–66, http://dx.doi.org/10.1037/0021-9010.65.1.60.
• Bruine de Bruin, W. (2006). Save the Last Dance II: Unwanted Serial Position Effects in Figure Skating Judgments. Acta Psychologica, 123, 299–311, http://dx.doi.org/10.1016/j.actpsy.2006.01.009.
• Brzezińska, A., Brzeziński, J. i Eliasz, A. (red.). (2004). Ewaluacja a jakość kształcenia w szkole wyższej. Warszawa: Wydawnictwo SWPS „Academica”.
• Ciężka, B. (2005). Ewaluacja – kwestie ogólne. Warszawa: Polskie Towarzystwo Ewaluacyjne.
• Eckes, T. (2012). Operational Rater Types in Writing Assessment: Linking Rater Cognition to Rater Behavior. Language Assessment Quarterly, 9 (3), 270–292, http://dx.doi.org/10.1080/15434303.2011.649381.
• Feldman, J.M. (1981). Beyond Attribution Theory: Cognitive Processes in Performance Appraisal. Journal or Applied Psychology, 66 (2), 127–148, http://dx.doi.org/10.1037/0021-9010.66.2.127.
• Flôres Jr., R.G., i Ginsburgh, V.A. (1996). The Queen Elisabeth Musical Competition: How Fair Is the Wnal Ranking? The Statistician, 45, 97–104, http://dx.doi.org/10.2307/2348415.
• Forgas, J.P. i Vargas, P.T. (2005). Wpływ nastroju na społeczne oceny i rozumowanie. W: M. Lewis i J.M. Haviland-Jones (red.), Psychologia emocji. Gdańsk: GWP.
• Gailliot, M.T. i Baumeister, R.F. (2007). The Physiology of Willpower: Linking Blood Glucose to Self-Control. Personality and Social Psychology Review, 11 (4), 303–327, http://dx.doi.org/10.1177/1088868307303030.
• Gailliot, M.T, Baumeister, R.F, DeWall, C., Maner, J., Plant, E., Tice, D. i Schmeichel, B. (2007). Self-Control Relies on Glucose as a Limited Energy Source: Willpower Is More Than a Metaphor. Journal Of Personality And Social Psychology, 92 (2), 325–336, http://dx.doi.org/ 10.1037/0022-3514.92.2.325.
• Hainger, S., Jenewein, S., Müller, H.-C. i Wakolbinger, F. (2010). The First Shall Be Last: Serial Position Effects in the Case Contestants Evaluate Each Other. Economics Bulletin, 30 (4), 3170–3176.
• Holzbach, R.L. (1978). Rater Bias in Performance Ratings: Superior, Self-, and Peer Ratings. Journal of Applied Psychology, 63 (5), 579–588, http://dx.doi.org/10.2307/2348415.
• Hoyt, W.T. (2000). Rater Bias in Psychological Research: When Is It a Problem and What Can We Do about It? Psychological Methods, 5 (1), 64–86, http://dx.doi.org/IO.I037//I082-9S9X.5.1.64.
• Johnson, J.S. i Lim, G.S. (2009). The Influence of Rater Language Background on Writing Performance Assessment. Language Testing, 26, 485–505, http://dx.doi.org/10.1177/0265532209340186.
• Jones, E.E., Rock, L., Shaver, K.G., Goethals, G.R. i Ward, L.M. (1968). Pattern of Performance and Ability Attribution: An Unexpected Primacy Effect. Journal of Personality and Social Psychology, 10, 317–349, http://dx.doi.org/10.1037/h0026818.
• Kahneman, D. (2011). Pułapki myślenia. Poznań: Wydawnictwo Media Rodzina.
• Landy, F.J., Vance, R.J., Barnes-Farrell, J.L. i Steele, J.W. (1980). Statistical Control of Halo Error in Performance Ratings. Journal of Applied Psychology, 65 (5), 501–506, http://dx.doi.org/10.1037/0021-9010.75.3.290.
• Marsh, H.W., Jayasinghe, U.W. i Bond, N.W. (2008). Improving the Peer-Review Process for Grant Applications. Reliability, Validity, Bias, and Generalizability. American Psychologist, 63 (3), 160–168, http://dx.doi.org/10.1037/0003-066X.63.3.160.
• Michałowicz, B. (2013). Koncepcja rozprawy doktorskiej pt. Ankiety ewaluacyjne w szkolnictwie wyższym: wpływ wyboru ewaluatorów. Warszawa: Wydział Zarządzania Uniwersytetu Warszawskiego.
• Nosal, C. (1990). Psychologiczne modele umysłu. Warszawa: PWN.
• Nosal, C. (2001). Psychologia myślenia i działania menedżera. Rozwiązywanie problemów. Podejmowanie decyzji. Kreowanie strategii. Wrocław: Wydawnictwo AKADE.
• Pirsig, R.M. (2005). Zen i sztuka oporządzania motocykla. Poznań: Dom Wydawniczy Rebis. Polskie Towarzystwo Ewaluacyjne. (2008). Standardy ewaluacji. Pozyskano z: http://www.ewaluacja.org.pl/download/Standardy_ewaluacji_PTE.pdf (08.12.2013).
• Raymond, M.R. i Huston, W.M. (1990). Detecting and Correcting for Rater Effects in Performance Assessment. Act Research Report Series, (December), 90–14.
• Raymond, M.R. i Viswesvaran, C. (1991). Least Squares Models to Correct for Rater Effects in Performance Assessment. Journal of Educational Measurement, 30 (3), 253–268, http://dx.doi.org/10.1111/j.1745-3984.1993.tb00426.x.
• Skład, M. i Wieczorkowska, G. (2001). Sztuka układania ankiet ewaluacyjnych. W: Psychologia społeczna: Jednostka – społeczeństwo – państwo (s. 250–266). Gdańsk: GWP.
• Wieczorkowska-Nejtardt, G. (1998). Inteligencja motywacyjna: mądre strategie wyboru celu i sposobu działania. Warszawa: WISS.
• Wieczorkowska-Siarkiewicz, G. (1992). Punktowe i przedziałowe reprezentacje celu. Uwarunkowania i konsekwencje. Warszawa: Oficyna Wydawnicza Wydziału Psychologii Uniwersytetu Warszawskiego.
• Wieczorkowska-Wierzbińska, G. (2011). Psychologiczne ograniczenia. Warszawa: Wydawnictwo Naukowe Wydziału Zarządzania UW.

Identifiers

ISSN

1644-9584

DOI

10.7172/1644-9584.45.9