Ewaluacja „wpływu społecznego” nauki. Przykład REF 2014 a kontekst polski

• Authors: Marta Natalia Wróblewska

Title variants

EN

Evaluation of “Research Impact”: the Case of REF 2014 and the Polish Context

• Languages of publication: PL

Abstracts

PL

Ewaluacja wpływu badań naukowych na środowiska pozanaukowe stała się w ostatnich latach przedmiotem dużego zainteresowania rządów, instytucji zajmujących się dystrybucją funduszy oraz badaczy akademickiej ewaluacji. Na świecie opracowano kilka modeli takiej oceny, różniących się celami i metodologią. Najbardziej kompleksową inicjatywą jest brytyjski system Impact Agenda, wprowadzony w 2014 r. jako element cyklicznego systemu oceny Research Excellence Framework (REF). „Wpływ społeczny” (impact) jest w jego ramach oceniany za pomocą jakościowej metodologii opartej na studiach przypadku (case studies), zaś wynik ewaluacji stanowi 20% końcowej oceny jednostki naukowej. Artykuł przedstawia kontekst wprowadzenia oceny „wpływu społecznego” w Wielkiej Brytanii oraz opisuje metodologię REF, kładąc szczególny nacisk na ewaluację elementu „impact”. Następnie na podstawie literatury oraz badań własnych autorki omawia pozytywne efekty oraz ograniczenia Impact Agenda. Ostatnia część tekstu zawiera sugestie co do „lekcji wyniesionych z REF 2014”, które mogą stanowić punkt odniesienia dla podobnych inicjatyw w Polsce. Tekst zamyka teza, że szerokie rozumienie „wpływu społecznego” nauki jako wpływu nie tylko na gospodarkę, lecz także jako dialogu ze społeczeństwem obywatelskim, mediami, sferą kultury i edukacji, może stanowić wyjście poza dychotomię: nauka utylitarna vs. nauka bezużytyczna.

EN

Recent years have seen a growth of interest in the evaluation of research’s “social impact” on the side of national governments, research funding bodies and scholars in the field of academic evaluation. While several models of impact evaluation have been developed around the world, the most robust one is the British Impact Agenda, introduced in 2014 as element of the cyclical Research Excellence Framework (REF) exercise. Within this system research impact is assessed using a qualitative methodology based on case studies. The result of the impact assessment represents 20% of the final score of the unit of assessment. The article presents the context of the introduction of impact assessment in the United Kingdom and describes the advantages and challenges of the Impact Agenda. The last section of the text focuses on the “lessons learned from REF 2014” that can be relevant in the Polish context. The author closes with a reflection: a broad understanding of “social impact” of research – conceived as influence not only on the economy but also on NGOs, media, culture, education etc. – can help overcome the dichotomy between “blue skies” and utilitarian research.

Keywords

PL

ewaluacja nauki; wpływ społeczny; Impact Agenda; REF; Research Excellence Framework

EN

research evaluation; social impact of research; Impact Agenda; REF; Research Excellence Framework; research evaluation; social impact of research; Impact Agenda; REF; Research Excellence Framework

• Publisher: Uniwersytet im. Adama Mickiewicza w Poznaniu
• Journal: Nauka i Szkolnictwo Wyższe
• Year: 2017
• Issue: 1(49)
• Pages: 79-104

Dates

published

2017-06-15

Contributors

author

Marta Natalia Wróblewska

• Absolwentka filozofii i lingwistyki stosowanej na Uniwersytecie Warszawskim, kończy obecnie doktorat w Centrum Lingwistyki Stosowanej na University of Warwick. Zajmuje się analizą dyskursu, szczególnie zastosowaną do badań szkolnictwa wyższego. Jej praca doktorska poświęcona jest związkom między elementem oceny „wpływu społecznego” (Impact Agenda w REF 2014) a sposobem, w jaki badacze i badaczki prezentują swoją pracę w mowie i w piśmie.

References

• Bacevic, J. (2017). Beyond the Third Mission: Toward an Actor-Based Account of Universities” Relationship with Society. W: H. Ergül, S. Coşar (red.). Universities in the Neoliberal Era: Academic Cultures and Critical Perspectives (21-39). London: Palgrave Macmillan.
• Bastow, S., Dunleavy, P., Tinkler, J., Bisiaux, R. (2014). The impact of the social sciences how academics and their research make a difference. London: Sage.
• Campbell, D.T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning. Evaluation and Program Planning. 2(1): 67-90.
• Chubb, J., Watermeyer, R., Wakeling, P. (2016). Fear and loathing in the Academy? The role of emotion in response to an impact agenda in the UK and Australia. Higher Education Research and Development. 36(3): 555-568.
• Derrick, G.E., Samuel, G.N. (2016). The Evaluation Scale: Exploring Decisions About Societal Impact in Peer Review Panels. Minerva. 54: 75-97.
• Donovan, C. (2008). The Australian Research Quality Framework: A live experiment in capturing the social, economic, environmental, and cultural returns of publicly funded research. New Directions for Evaluation (Special issue: Reforming the Evaluation of Research). 118: 47-60.
• Else, H. (2015). REF 2014 cost almost £250 million. Times Higher Education (online). http://bit.ly/1GgQM3H [1.05.2017].
• Farla, K., Simmonds, P. (2015). REF Accountability Review: Costs, benefits and burden. Report by Technopolis to the four UK higher education funding bodies. Vienna: Technopolis. http://bit.ly/2qK4MU4 [1.05.2017].
• Franzen, M., Weingart, P., Rödder, S. (2012). Exploring the Impact of Science Communication on Scientific Knowledge Production: An Introduction. W: M. Franzen, P. Weingart, S. Rödder (red.). The Sciences’ Media Connection – Public Communication and its Repercussions (3-14). Dordrecht: Springer.
• Gozlan, C. (2015). L’autonomie de la recherche scientifique en débats: évaluer l’”impact” social de la science? Sociologie du travail. 57: 151-174.
• Górski, J., Mikołajczyk, A., Tataj, M. (2016). Społeczne oblicze innowacji. Jak wspierać postawy innowacyjne i promować etos innowatora? Warszawa: Fundacja Polskiego Godła Promocyjnego. http://bit.ly/2qFwdzj [1.05.2017].
• Grant, J., Brutscher, P.B., Kirk, S., Butler, L., Wooding, S. (2009). Capturing Research Impacts. A review of international practice. Cambridge: RAND Europe. http://bit.ly/2p2zmff [1.05.2017].
• Halsey, A.H. (1992). Decline of donnish dominion: the British academic professions in the twentieth century. Oxford: Clarendon Press.
• Hamann, J. (2016). The visible hand of research performance assessment. Higher Education. 72(6): 761-779.
• HEFCE (2014a). Assessment framework and guidance on submissions. http://bit.ly/29QdBb0 [1.05.2017].
• HEFCE (2014b). Submissions. http://bit.ly/2p2nHxc [1.05.2017].
• HEFCE (2015). Research Excellence Framework 2014: Manager’s report. http://bit.ly/2p-F1aVS [1.05.2017].
• HEFCE (2016, 6 maja 2016). How we fund research. http://bit.ly/2peBGvL [1.05.2017].
• HEFCE i in. (2012). Assessment framework and guidance on submissions. http://bit.ly/29QdBb0 [1.05.2017].
• HEFCE i in. (2015). Evaluating the 2014 REF: feedback from participating institutions. http://bit.ly/2qFNTL9 [1.05.2017].
• Hicks, D. (2012). Performance-based university research funding systems. Research Policy. 41(2): 251-261.
• Hill, S. (2016). Assessing (for) impact: future assessment of the societal impact of research. Palgrave Communications. 2: 16073.
• Jessop, B., Fairclough, N., Wodak, R. (2008). Education and the knowledge based economy in Europe. Rotterdam: Sense.
• Jump, P. (2014). REF 2014 results: table of excellence. Times Higher Education (online). 18.12.2014. http://bit.ly/1PgoH4i [1.05.2017].
• King’s College London and Digital Science. (2015). The nature, scale and beneficiaries of research impact: An initial analysis of Research Excellence Framework (REF) 2014 impact case studies. Research Report 2015/01. http://bit.ly/2peskQt [1.05.2017].
• Konkiel, S. (2014). 30-Day Impact Challenge: the ultimate guide to raising the profile of your research (ebook). Impact Story.
• Maison, D. i in. (2016). Przyszłość polskiej nauki – potencjał i bariery współpracy biznesu z nauką. Warszawa: Fundacja Warsaw Enterprise Institute. http://bit.ly/2q4JbcW [1.05.2017].
• Manville, C., Guthrie, S., Henham, M.-L., Garrod, B., Sousa, S., Kirtley, A., Castle-Clarke, S., Ling, T. (2015). Assessing impact submissions for REF 2014: an evaluation. Cambridge: RAND Europe. http://bit.ly/2pgUTgw [1.05.2017].
• Martin, B.R. (2011). The Research Excellence Framework and the „impact agenda”: are we creating a Frankenstein monster? Research Evaluation. 20(3): 247-254.
• Miettinen, R., Tuunainen, J., Esko, T. (2015). Epistemological, Artefactual and Interactional–Institutional Foundations of Social Impact of Academic Research. Minerva. 53(3): 257-277.
• MNiSW (2016a). Biała Księga Innowacji. http://bit.ly/2peCjFy [1.05.2017].
• MNiSW (2016b). Rząd przyjął ustawę o innowacyjności. 16.08.2016. http://bit.ly/2b1gBPG [1.05.2017].
• Münch, R. (2014), Academic capitalism: universities in the global struggle for excellence. Abingdon, Oxon: Routledge.
• Newman, J.H. (1990). Idea uniwersytetu. Tłum. P. Mroczkowski. Warszawa: Wyd. Nauk. PWN.
• PAP – Nauka w Polsce. (2016). Sejm jednogłośnie uchwalił tzw. małą ustawę o innowacyjności. http://bit.ly/2p2G19b [1.05.2017].
• Power, M. (2015). How accounting begins: Object formation and the accretion of infrastructure. Accounting, Organizations and Society. 5: 43-55.
• Reed, M.S. (2016). The Research Impact Handbook. Fast Track Impact.
• REF EDAP (2015). Equality and diversity in the 2014 Research Excellence Framework. A report by the Equality and Diversity Advisory Panel (EDAP). REF 2014. http://bit.ly/2qx3G1o [1.05.2017].
• Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 27 października 2015 r. Dz.U. poz. 2015.
• Sayer, D. (2015). Rank hypocrisies: the insult of the REF. Los Angeles: Sage.
• Slaughter, S., Rhoades, G. (2004). Academic capitalism and the new economy: markets, state, and higher education. Baltimore: Johns Hopkins University Press.
• Starego, K., Stankiewicz, Ł. (2016). Użyteczność z bezużyteczności – uniwersyet a społeczny pomiar wartości. Studia i Badania Naukowe. 10(1): 137-166.
• Stern, N. (2016). Building on Success and Learning from Experience. An Independent Review of the Research Excellence Framework. http://bit.ly/2ay5y3S [1.05.2017].
• Szadkowski, K. (2015). Uniwersytet jako dobro wspólne: podstawy krytycznych badań nad szkolnictwem wyższym. Warszawa: Wyd. Nauk. PWN.
• Temkin, A. (2016). A jeśli humanistyka niczemu nie służy? Kultura Liberalna. 369(4). http://bit.ly/2pF8Yqu [1.05.2017].
• University College Union (2009). Statement. http://bit.ly/2q4JULc [1.05.2017].
• Ustawa z dnia 4 listopada 2016 r. o zmianie niektórych ustaw określających warunki prowadzenia działalności innowacyjnej. Dz.U. poz. 1933.
• Wałejko, M. (2014). Ile punktów za etos. Pedagogika Szkoły Wyższej. 2: 55-74.
• Watermeyer, R. (2016). Impact in the REF: issues and obstacles. Studies in Higher Education. 41(2): 192-214.
• Wróblewska, M.N. (2017). Ewaluacja wpływu społecznego? Nie kopiujcie Brytyjczyków!
• Wywiad z Davidem Sweeneyem, dyrektorem HEFCE ds. badań, edukacji i transferu wiedzy. Nauka i Szkolnicwo Wyższe. 1(49): 157-166. doi: 10.14746/nisw.2017.1.8.
• ERC DISCONEX (Discursive Construction of Academic Excellence): www.disconex.discourseanalysis.net/ [1.05.2017].
• Impact Story: https://impactstory.org/ [1.05.2017].
• LSE Impact Blog: http://blogs.lse.ac.uk/impactofsocialsciences/ [1.05.2017].
• Philosophy Impact (blog): https://philosophyimpact.org/ [1.05.2017].
• Research Councils UK (część poświęcona ewaluacji elementu „impact”): http://www.rcuk.ac.uk/innovation/impact/ [24.05.2017].
• Research Excellence Framework: www.ref.ac.uk [1.05.2017]; www.impact.ref.ac.uk [1.05.2017].
• Wyniki REF 2014: www.results.ref.ac.uk [1.05.2017].

Identifiers

DOI

10.14746/nisw.2017.1.5