Full-text resources of CEJSH and other databases are now available in the new Library of Science.
Visit https://bibliotekanauki.pl

Results found: 9

first rewind previous Page / 1 next fast forward last

Search results

Search:
in the keywords:  research evaluation
help Sort By:

help Limit search:
first rewind previous Page / 1 next fast forward last
EN
The aim of this paper is twofold. Firstly, I present the scholarly book publications patterns of Polish scholars. Secondly, I show how scholarly book publications are assessed in various European research evaluation systems. Moreover, I argue that the diversity of evaluation models depends on the scientific policy aims in a given country. This presentation of European models allows me to discuss a new Polish science policy instrument, that is the list of publishers prepared for the upcoming evaluation exercise in 2021. In 2018, the Ministry of Science and Higher Education in Poland implemented a new model of scholarly book publication assessment based on the list of publishers. On the one hand, such a science policy instrument might be a way to appreciate the best quality scholarly books and give them more points than articles in the evaluation exercise. On the other hand, it is a so far unknown instrument which differentiates publications that have been treated the same up to date. Additionally, this paper aims to shed some light on how the new Polish model was prepared.
EN
The aim of this article is to present the possible relationship between the level of financing of R+D, the R+D personnel rate (particularly in the higher education sector) and the presence of Polish academic research in the world demonstrated by prestigious publications indexed in the Web of Science (WoS). The research findings concern the analysis of changes in time and show a clear, strong and positive correlation between the level of financing of research and development activity and the number of publications listed in the WoS. The received result indicates with a wellfitting regression model that there is a direct relationship between the expenditure on research and the presence of Polish scholars in the international science.
EN
Recent years have seen a growth of interest in the evaluation of research’s “social impact” on the side of national governments, research funding bodies and scholars in the field of academic evaluation. While several models of impact evaluation have been developed around the world, the most robust one is the British Impact Agenda, introduced in 2014 as element of the cyclical Research Excellence Framework (REF) exercise. Within this system research impact is assessed using a qualitative methodology based on case studies. The result of the impact assessment represents 20% of the final score of the unit of assessment. The article presents the context of the introduction of impact assessment in the United Kingdom and describes the advantages and challenges of the Impact Agenda. The last section of the text focuses on the “lessons learned from REF 2014” that can be relevant in the Polish context. The author closes with a reflection: a broad understanding of “social impact” of research – conceived as influence not only on the economy but also on NGOs, media, culture, education etc. – can help overcome the dichotomy between “blue skies” and utilitarian research.
PL
Ewaluacja wpływu badań naukowych na środowiska pozanaukowe stała się w ostatnich latach przedmiotem dużego zainteresowania rządów, instytucji zajmujących się dystrybucją funduszy oraz badaczy akademickiej ewaluacji. Na świecie opracowano kilka modeli takiej oceny, różniących się celami i metodologią. Najbardziej kompleksową inicjatywą jest brytyjski system Impact Agenda, wprowadzony w 2014 r. jako element cyklicznego systemu oceny Research Excellence Framework (REF). „Wpływ społeczny” (impact) jest w jego ramach oceniany za pomocą jakościowej metodologii opartej na studiach przypadku (case studies), zaś wynik ewaluacji stanowi 20% końcowej oceny jednostki naukowej. Artykuł przedstawia kontekst wprowadzenia oceny „wpływu społecznego” w Wielkiej Brytanii oraz opisuje metodologię REF, kładąc szczególny nacisk na ewaluację elementu „impact”. Następnie na podstawie literatury oraz badań własnych autorki omawia pozytywne efekty oraz ograniczenia Impact Agenda. Ostatnia część tekstu zawiera sugestie co do „lekcji wyniesionych z REF 2014”, które mogą stanowić punkt odniesienia dla podobnych inicjatyw w Polsce. Tekst zamyka teza, że szerokie rozumienie „wpływu społecznego” nauki jako wpływu nie tylko na gospodarkę, lecz także jako dialogu ze społeczeństwem obywatelskim, mediami, sferą kultury i edukacji, może stanowić wyjście poza dychotomię: nauka utylitarna vs. nauka bezużytyczna.
EN
The interview explores the challenges related to the introduction of the Impact Agenda, its consequences for academic culture as well as the possibility of putting in place a similar evaluation framework in Poland. David Sweeney argues that while the Impact Agenda addresses some issues of British science, it cannot be simply transposed to other academic systems. Instead, policy makers should factor in the local academic culture and the particular aims set before science in their context.
PL
Wywiad dotyczy początków ewaluacji „wpływu społecznego”1 w Wielkiej Brytanii, jej konsekwencji dla kultury akademickiej, a także możliwości wprowadzenia podobnego systemu oceny w Polsce. David Sweeney przekonuje, że o ile Impact Agenda stanowi odpowiedź na wiele wyzwań brytyjskiej nauki, o tyle nie można przenieść tego systemu bezpośrednio na inny grunt. System ewaluacji w każdym kraju powinien być dostosowany do lokalnej kultury akademickiej i celów stawianych przed naukowcami.
EN
The paper uses the concept of ‘parametric game’ to describe a strategy of academic work which has become wide-spread in Poland, due to the introduction of a particular policy of rewards. The ‘parametric game’ consists of doing research and publishing results in so as to enable fulfilling the requirements of a given research evaluation system. On the whole, researchers can use two main strategies in this game. The first strategy is ‘Impactitis,’ where only publications in journals with a high Impact Factor are acknowledged by a given scholarly community. The other strategy, whose definition and understanding are put forward in the present paper, is the so-called ‘running for points’ (the original Polish term being ‘punktoza’). In this strategy, the most ‘profitable’ choice is to publish several articles in journals without any Impact Factor rather than one paper in a toptier journal. On the basis of the Polish system, I present the main mechanisms that produce the running-for-points strategy and several mechanisms that make it possible to reduce the negative consequences of playing the parametric game in this way. The article concludes with a discussion of the Polish system. It suggests how the system can be improved and what lessons can be learnt from it. The conclusions are relevant for both scholars and policy makers in other countries.
PL
W artykule stosuję pojęcie „gry parametrycznej”, aby opisać strategię pracy akademickiej pojawiającej się w Polsce jako efekt wprowadzenia polityk punktowego nagradzania dorobku naukowego. „Gra parametryczna” oznacza realizowanie badań i publikowanie ich wyników w taki sposób, aby spełniać wymagania danego systemu ewaluacji nauki. W grze tej badacze mogą używać dwóch strategii. Pierwszą jest „impactitis”, w ramach której tylko publikacje w czasopismach z wysokim Impact Factorem są uznawane w danej społeczności akademickiej. Drugą strategią jest „punktoza”. Polega ona na tym, że bardziej opłacalne jest opublikowanie kilku artykułów w czasopiśmie bez Impact Factora niż opublikowanie jednego artykułu w wysoko punktowanym czasopiśmie. Na podstawie polskiego systemu ewaluacji nauki (parametryzacji) pokazuję główne mechanizmy wytwarzania punktozy oraz takie, które mają ograniczać negatywne konsekwencje grania w parametryczną grę. Tekst kończy się dyskusją na temat rozwiązań polskiego systemu oraz rekomendacjami, jak system ten można ulepszyć i jakie lekcje należy wyciągnąć z obecnej sytuacji. Przedstawione konkluzje są istotne zarówno dla badaczy, jak i decydentów z obszaru polityki naukowej z innych krajów.
EN
The ‘Norwegian Model’ attempts to comprehensively cover all the peer reviewed scholarly literatures in all areas of research – including the preferred formats and languages of scholarly publishing in the humanities – in one single weighted indicator which makes the research efforts comparable across departments and faculties within and between research institutions. This article describes the main components of the model and how it has been implemented, as well as the effects and experiences in three of the countries that are making use of the model, and where it has been evaluated: Belgium (Flanders), Denmark and Norway. The article concludes with a discussion of the model from the perspective of the humanities.
PL
Model norweski stanowi próbę całościowego ujęcia recenzowanych publikacji naukowych we wszystkich obszarach wiedzy – z uwzględnieniem preferowanych typów publikacji i języków publikacji w naukach humanistycznych – za pomocą jednego ważonego wskaźnika, pozwalającego porównywać efekty badań naukowych wewnątrz różnych instytutów i wydziałów oraz pomiędzy instytucjami badawczymi. W artykule opisano główne składniki Modelu, metodę jego wdrożenia oraz efekty i doświadczenia trzech krajów wykorzystujących go, w których przeprowadzono jego ewaluację: Belgii (Flandrii), Danii i Norwegii. Zakończenie zawiera analizę Modelu z perspektywy nauk humanistycznych.
EN
Scientific journals are and probably will remain the key research communication channel. In the social sciences and humanities, journals will not eliminate or marginalize books (monographs). Although measuring research results by means of lists and points is probably necessary, attemptsshould be made to at least counteract the downsides of running after points and impactitis. Publishing in prestigious international journals in English is important for participation in international research, but good journals in Polish should also be supported, especially those focused on the social sciences and humanities and addressing issues associated with culture and society. There are no strong arguments for the bureaucratic assigning of scientific disciplines to journals on the Minister’s list, and multidisciplinary journals should be supported. Open access to scientific journals has advantages, but it raises concerns about equal access of authors from poorer countries, and about quality. The joint efforts of researchers, publishers and governments are needed to fight against the pathology of predatory journals. Scientific journals in the field of the social sciences and humanities could accept shorter, concise texts, taking the role of books in these sciences into account.
PL
Czasopisma naukowe są i zapewne pozostaną podstawowym kanałem komunikacji naukowej. W naukach społecznych i humanistycznych nie wyeliminują one jednak ani nie zmarginalizują książek (monografii). Uznając konieczność pomiaru efektów badań naukowych w postaci list i punktów, należy dążyć przynajmniej do osłabienia negatywów zarówno punktozy, jak i impaktozy. Publikowanie w prestiżowych anglojęzycznych międzynarodowych czasopismach jest ważne dla udziału w międzynarodowej nauce, niemniej jednak – zwłaszcza w odniesieniu do nauk humanistycznych i społecznych, dotyczących kultury i społeczeństwa – należy wspierać dobre czasopisma w języku polskim. Brak wyraźnych argumentów za biurokratycznym przypisywaniem dyscyplin naukowych do czasopism na ministerialnej liście, a wielodyscyplinarne czasopisma powinny być wspierane. Otwarty dostęp do czasopism naukowych ma zalety, ale budzi obawy o równość dostępu autorów z mniej zamożnych krajów oraz o jakość. Drapieżne czasopisma, jako zjawisko patologiczne, należy zwalczać wspólnym wysiłkiem środowiska naukowców, wydawców i państwa. Czasopisma naukowe w dziedzinach nauk społecznych i humanistycznych mogłyby przyjmować krótsze, syntetyczne teksty, zważywszy na rolę monografii w tych naukach.
EN
The question whether there are appropriate quantitative indicators for determining the social impact of scientific research initiated the creation of this work. The paper uses desk research to present the background data, i.e. previous research, the current state of knowledge, policies in place at universities regarding approaches to quantitative measurement of social impact. The review presents possible methods and problems of measuring the social impact of research, describes the importance of case studies and different approaches to the process of measuring social impact. The review indicates that research should start with the identification of social impact and focus on the right approach to measuring social impact. It is shown that conclusions based on quantitative data in the evaluation of scientific research should be drawn with great caution and should always be supplemented by qualitative description.
PL
Pytanie: Czy istnieją właściwe ilościowe wskaźniki decydujące o wpływie społecznym badań naukowych? zainicjowało powstanie tej pracy. W pracy wykorzystano desk research celem przedstawienia danych zastanych, tzn. dotychczasowych badań, aktualnego stanu wiedzy, polityk obowiązujących na uczelniach dotyczących podejścia do ilościowego pomiaru wpływu społecznego. Przedstawiony przegląd pokazuje możliwe metody i problemy pomiaru społecznego wpływu badań, opisuje znaczenie studium przypadków i różnych podejść w procesie pomiaru wpływu społecznego. Przegląd ten wskazuje, że powinno rozpoczynać się badania naukowe od identyfikacji wpływu społecznego i skupiać się na właściwym podejściu do pomiaru wpływu społecznego. Wykazano, że wnioski na podstawie danych ilościowych w ocenie badań naukowych należy wyciągać z dużą ostrożnością i powinny one być zawsze uzupełniane opisem jakościowym.
first rewind previous Page / 1 next fast forward last
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.