Full-text resources of CEJSH and other databases are now available in the new Library of Science.
Visit https://bibliotekanauki.pl


2020 | 3 (55) | 109-118

Article title

Problems and Considerations in the Design of Bibliometric Indicators for National Performance-Based Research Funding Systems


Title variants

Problemy i zagadnienia związane z projektowaniem bibliometrycznych wskaźników dla krajowych systemów finansowania badań opartych na wynikach

Languages of publication



Artykuł obejmuje przegląd dziesięciu konkretnych problemów i zagadnień, które zazwy-czaj pojawiają się przy projektowaniu bibliometrycznych wskaźników dla krajowych sys-temów finansowania opartych na wynikach (z ang. „performance-based research funding systems” -PRFS). Każdy taki system należy analizować w specyficznym kontekście kra-jowym, ale wzajemne uczenie się może inspirować do wprowadzania usprawnień. Arty-kuł powstał częściowo w oparciu o doświadczenia z warsztatów wzajemnego uczenia się (MLE) dotyczących systemów finansowania opartych na wynikach. Warsztaty dla czter-nastu krajów europejskich zorganizowała w latach 2016–2017 Komisja Europejska. Poza tym podstawą do napisania artykułu są doświadczenia związane z doradzaniem kilku krajom przy opracowywaniu takich systemów. Pierwsza część dotyczy różnic przy pro-jektowaniu PRFS pomiędzy państwami, następnie przedstawiono pięć konkretnych pro-blemów i zagadnień, które zazwyczaj wiążą się z projektowaniem wskaźników bibliome-trycznych dla takiego systemu. Na koniec znajduje się opis tego, jak te pięć problemów rozwiązano w norweskim systemie PRFS.
This article presents an overview of ten specific problems and considerations that are typically involved in designs of bibliometric indicators for national performance-based research funding systems (PRFS). While any such system must be understood and re-spected on the background of different national contexts, mutual learning across coun-tries can inspire improvements. The paper is partly based on experiences from a Mutual Learning Exercise (MLE) on Performance Based Funding Systems which was organized by the European Commission in 2016–17and involved fourteen European countries, partly on experiences from advising a few other countries in developing such systems. A framework for understanding country differences in the design of PRFS is presented first, followed by a presentation of the five specific problems and considerations that are typically involved in designs of bibliometric indicators for such system. The article con-cludes with an overview of how Norway’s PRFS has dealt with the same five problems.





Physical description




  • Nordic Institute for Studies in Innovation, Research and Education, Norway


  • Aagaard K., How incentives trickle down: Local use of a national bibliometric indicator system, “Science and Public Policy” 2015, No. 5.
  • Debackere K., Arnold E., Sivertsen G., Spaapen J., Sturn D., Performance-based Research Funding Systems, Brussels 2017.
  • Geuna A., Martin B.R., University research evaluation and funding: an international comparison, “Minerva” 2003, No. 41.
  • Geuna A., Piolatto M., Research assessment in the UK and Italy: Costly and difficult, but probably worth it (at least for a while), “Research Policy” 2016, No. 45.
  • Hicks D. et al., Bibliometrics: The Leiden Manifesto for Research Metrics, 2015.
  • Hicks D., Performance-based university research funding systems, “Research Policy” 2012, No. 41.
  • Hicks D., Wouters P., Waltman L., de Rijcke S., Rafols I., Bibliometrics: The Leiden Manifesto for Research Metrics, “Nature” 2015, vol. 520.
  • Jonkers K., Zacharewicz T., Research Performance Based Funding Systems: A Comparative Assessment, Brussels 2016.
  • Malmberg A., Kettis Å., Maandi C., KoF17. Quality and Renewal 2017. Research Environment Evaluation at Uppsala University, Uppsala 2017.
  • Sivertsen G., Balanced multilingualism in research, “BiD: textos universitaris de biblioteconomia i documentació” 2018, No. 40, http://dx.doi.org/10.1344/BiD2018.40.25.
  • Sivertsen G., Finansowanie oparte na publikacjach – Model norweski, „Nauka i Szkolnictwo Wyższe” 2017, nr 1(49).
  • Sivertsen G., Rousseau R., Zhang L., Measuring Scientific Production with Modified Fractional Counting, “Journal of Informetrics” 2019, No. 2.
  • Sivertsen G., The Norwegian Model in Norway, “Journal of Data and Information Science” 2018, No. 4.
  • Sivertsen G., Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective, “Palgrave Communications” 2017, No. 3.
  • Swedish Government, Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft, Stockholm 2016.
  • Swedish Research Council, Research Quality Evaluation in Sweden – Fokus, Stockholm 2015.
  • Wilsdon J. et al., The Metric Tide: The Independent Review of the Role of Metrics in Research Assessment and Management, 2015, DOI: 10.13140/RG.2.1.4929.1363.

Document Type

Publication order reference



YADDA identifier

JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.