Problems and Considerations in the Design of Bibliometric Indicators for National Performance-Based Research Funding Systems

• Authors: Sivertsen Gunnar

Title variants

PL

Problemy i zagadnienia związane z projektowaniem bibliometrycznych wskaźników dla krajowych systemów finansowania badań opartych na wynikach

• Languages of publication: PL EN

Abstracts

PL

Artykuł obejmuje przegląd dziesięciu konkretnych problemów i zagadnień, które zazwy-czaj pojawiają się przy projektowaniu bibliometrycznych wskaźników dla krajowych sys-temów finansowania opartych na wynikach (z ang. „performance-based research funding systems” -PRFS). Każdy taki system należy analizować w specyficznym kontekście kra-jowym, ale wzajemne uczenie się może inspirować do wprowadzania usprawnień. Arty-kuł powstał częściowo w oparciu o doświadczenia z warsztatów wzajemnego uczenia się (MLE) dotyczących systemów finansowania opartych na wynikach. Warsztaty dla czter-nastu krajów europejskich zorganizowała w latach 2016–2017 Komisja Europejska. Poza tym podstawą do napisania artykułu są doświadczenia związane z doradzaniem kilku krajom przy opracowywaniu takich systemów. Pierwsza część dotyczy różnic przy pro-jektowaniu PRFS pomiędzy państwami, następnie przedstawiono pięć konkretnych pro-blemów i zagadnień, które zazwyczaj wiążą się z projektowaniem wskaźników bibliome-trycznych dla takiego systemu. Na koniec znajduje się opis tego, jak te pięć problemów rozwiązano w norweskim systemie PRFS.

EN

This article presents an overview of ten specific problems and considerations that are typically involved in designs of bibliometric indicators for national performance-based research funding systems (PRFS). While any such system must be understood and re-spected on the background of different national contexts, mutual learning across coun-tries can inspire improvements. The paper is partly based on experiences from a Mutual Learning Exercise (MLE) on Performance Based Funding Systems which was organized by the European Commission in 2016–17and involved fourteen European countries, partly on experiences from advising a few other countries in developing such systems. A framework for understanding country differences in the design of PRFS is presented first, followed by a presentation of the five specific problems and considerations that are typically involved in designs of bibliometric indicators for such system. The article con-cludes with an overview of how Norway’s PRFS has dealt with the same five problems.

Keywords

EN

Performance based research funding systems; performance indicators; bib-liomet-rics; research evaluation; funding allocation; institutional funding; universities; incentives; REF

• Publisher: Wydawnictwo Adam Marszałek
• Journal: Przegląd Prawa Konstytucyjnego
• Year: 2020
• Issue: 3 (55)
• Pages: 109-118

Dates

published

2020-06-30

Contributors

author

Sivertsen Gunnar

• Nordic Institute for Studies in Innovation, Research and Education, Norway

References

• Aagaard K., How incentives trickle down: Local use of a national bibliometric indicator system, “Science and Public Policy” 2015, No. 5.
• Debackere K., Arnold E., Sivertsen G., Spaapen J., Sturn D., Performance-based Research Funding Systems, Brussels 2017.
• Geuna A., Martin B.R., University research evaluation and funding: an international comparison, “Minerva” 2003, No. 41.
• Geuna A., Piolatto M., Research assessment in the UK and Italy: Costly and difficult, but probably worth it (at least for a while), “Research Policy” 2016, No. 45.
• Hicks D. et al., Bibliometrics: The Leiden Manifesto for Research Metrics, 2015.
• Hicks D., Performance-based university research funding systems, “Research Policy” 2012, No. 41.
• Hicks D., Wouters P., Waltman L., de Rijcke S., Rafols I., Bibliometrics: The Leiden Manifesto for Research Metrics, “Nature” 2015, vol. 520.
• Jonkers K., Zacharewicz T., Research Performance Based Funding Systems: A Comparative Assessment, Brussels 2016.
• Malmberg A., Kettis Å., Maandi C., KoF17. Quality and Renewal 2017. Research Environment Evaluation at Uppsala University, Uppsala 2017.
• Sivertsen G., Balanced multilingualism in research, “BiD: textos universitaris de biblioteconomia i documentació” 2018, No. 40, http://dx.doi.org/10.1344/BiD2018.40.25.
• Sivertsen G., Finansowanie oparte na publikacjach – Model norweski, „Nauka i Szkolnictwo Wyższe” 2017, nr 1(49).
• Sivertsen G., Rousseau R., Zhang L., Measuring Scientific Production with Modified Fractional Counting, “Journal of Informetrics” 2019, No. 2.
• Sivertsen G., The Norwegian Model in Norway, “Journal of Data and Information Science” 2018, No. 4.
• Sivertsen G., Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective, “Palgrave Communications” 2017, No. 3.
• Swedish Government, Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft, Stockholm 2016.
• Swedish Research Council, Research Quality Evaluation in Sweden – Fokus, Stockholm 2015.
• Wilsdon J. et al., The Metric Tide: The Independent Review of the Role of Metrics in Research Assessment and Management, 2015, DOI: 10.13140/RG.2.1.4929.1363.

Identifiers

ISSN

2082-1212