The first part of the article discusses the rules regulating the creation of the official list of scientific journals in Poland. The author concludes that these rules have many flaws. Among the de lege ferenda conclusions, the author mentions: (i) the list cannot be applied retroactively, it should only have effects for the future; (ii) decisions concerning inclusion on the list and awarding points should be justified, and these justifications should be publicly available; (iii) decisions concerning inclusion on the list of scientific journals and the awarding of points to scientific journals should be subject to judicial control; (iv) the list of scientific journals should not be prepared by the ministry, but by an independent scientific agency; (v) the list should be fully developed on the basis of a unified, transparent methodology, in which the essential element of the evaluation is the analysis of journal citations. The second part of the article discusses the scientific databases used to create rankings of scientific journals. The author points out that in relation to European legal journals, the Web of Science and Scopus databases include content that is too limited to be properly used for this purpose. The author suggests taking into account the citations from the Google Scholar database to evaluate European scientific legal journals.
PL
W pierwszej części artykuł omawia obowiązujące w Polsce zasady tworzenia urzędowego wykazu czasopism naukowych. Autor dochodzi do wniosku, że zasady te miały wiele wad. Wśród wniosków de lege ferenda, autor wymienia: 1) wykaz nie może działać retroaktywnie, powinien wywoływać wyłącznie skutki na przyszłość; 2) decyzje o wpisie do wykazu i nadaniu punktów powinny być uzasadniane a uzasadnienia te powinny być publicznie dostępne; 3) decyzje o wpisie do wykazu i nadaniu punktów powinny podlegać kontroli sądowej; 4) wykaz czasopism naukowych nie powinien być sporządzany przez ministerstwo, lecz przez niezależną agencję naukową; 5) wykaz powinien w całości być opracowywany zgodnie z ujednoliconą, transparentną metodologią, w której zasadniczym elementem oceny jest analiza cytowań. W drugiej części artykuł omawia bazy naukowe, które służą do tworzenia rankingów czasopism naukowych. Autor wskazuje, że w odniesieniu do europejskich czasopism prawniczych bazy Web of Science i Scopus mają zbyt ograniczoną zawartość, żeby poprawnie służyć do tego celu. Autor postuluje, żeby tworząc wykaz czasopism z nauk prawnych, w przypadku europejskich czasopism prawniczych uwzględniać dane o cytowaniach z bazy Google Scholar.
The Law on Higher Education and Science adopted by the Polish parliament in July 2018 madeextensive changes to the model of the institutional evaluation of research. The evaluated outputconsists mainly of papers published in scientific journals. In principle, the journals eligible for theevaluation procedure are those indexed in Scopus or WoS. The official Polish ranking of journalsshould reflect the metrics from these databases. The statutory enlargement of bibliometric dataon the evaluation of legal papers constitutes a fundamental breach in the history of Polish legaljournals. The article deals with a few questions: how representative is the application of the bibliometricsfor legal publications? Is the Polish ranking of legal journals consistent with the evaluationpractices in other countries? What is unique in the caesura in the history of Polish legaljournals marked by the law from 2018, when compared to earlier turning points in this history? What recommendations to change the evaluation legal journals in Poland are justified? The author sees the evaluation of legal journals focused on Scopus and WoS as an unwanted revolution. Using comparative, historical and pragmatical arguments, he recommends the transformation of the revolution into evolutive modifications. This reasonable evolution should be based on two things. Firstly, replacing bibliometric evaluation with expert evaluation. Secondly, more legal journals should be eligible in the evaluation process: journals indexed in ERIH+ and HeinOnline, and journals included in the official journal lists of countries other than Poland, should be taken into account.
PL
Ustawa Prawo o szkolnictwie wyższym i nauce z lipca 2018 (ustawa 2.0) wprowadziła istotne zmiany ewaluacji jakości badań naukowych. Największy wpływ na wynik tej oceny mają publikacje naukowe. Zasadą jest, że uwzględnia się artykuły w czasopismach indeksowanych w bazach Scopus lub Web of Science. Liczba punktów przypisanych czasopismom w wykazie ogłoszonym przez ministra jest uzależniona od wyliczeń bazy co do oddziaływania pisma. Rozciągnięcie tych kryteriów bibliometrycznych na czasopisma prawnicze było przełomem w ich dziejach. W artykule podjęte zostały pytania: w jakiej mierze reprezentatywne jest stosowanie kryteriów bibliometrycznych do oceny czasopism prawniczych? Czy ogłoszony przez ministra wykaz i ranking czasopism prawniczych jest podobny do instrumentów i praktyk ewaluacyjnych w innych krajach? Co jest wyjątkowego w cezurze wyznaczonej przez ustawę 2.0 w historii polskich czasopism prawniczych względem wcześniejszych cezur w tych dziejach? Jakie zmiany w zakresie uwzględniania czasopism prawniczych w ewaluacji nauki są uzasadnione? Przypisanie kluczowej roli bazom Scopus i WoS autor ocenia jako wymuszoną rewolucję. Stosując metodę porównawczą, historyczną i argumenty pragmatyczne, autor formułuje postulaty zmierzające do przekształcenia tej rewolucji w pożądaną zmianę ewolucyjną. Kluczowe dla niej powinno być pełne poszerzenie zakresu czasopism prawniczych uwzględnianych przy ewaluacji o włączone do baz ERIH PLUS , HeinOnline lub zagranicznych oficjalnych wykazów czasopism wykorzystywanych do oceny badań naukowych, a także całkowite zastąpienie przy ocenie prestiżu czasopism prawniczych kryteriów bibliometrycznych przez ocenę ekspercką.
Scientific journals are and probably will remain the key research communication channel. In the social sciences and humanities, journals will not eliminate or marginalize books (monographs). Although measuring research results by means of lists and points is probably necessary, attemptsshould be made to at least counteract the downsides of running after points and impactitis. Publishing in prestigious international journals in English is important for participation in international research, but good journals in Polish should also be supported, especially those focused on the social sciences and humanities and addressing issues associated with culture and society. There are no strong arguments for the bureaucratic assigning of scientific disciplines to journals on the Minister’s list, and multidisciplinary journals should be supported. Open access to scientific journals has advantages, but it raises concerns about equal access of authors from poorer countries, and about quality. The joint efforts of researchers, publishers and governments are needed to fight against the pathology of predatory journals. Scientific journals in the field of the social sciences and humanities could accept shorter, concise texts, taking the role of books in these sciences into account.
PL
Czasopisma naukowe są i zapewne pozostaną podstawowym kanałem komunikacji naukowej. W naukach społecznych i humanistycznych nie wyeliminują one jednak ani nie zmarginalizują książek (monografii). Uznając konieczność pomiaru efektów badań naukowych w postaci list i punktów, należy dążyć przynajmniej do osłabienia negatywów zarówno punktozy, jak i impaktozy. Publikowanie w prestiżowych anglojęzycznych międzynarodowych czasopismach jest ważne dla udziału w międzynarodowej nauce, niemniej jednak – zwłaszcza w odniesieniu do nauk humanistycznych i społecznych, dotyczących kultury i społeczeństwa – należy wspierać dobre czasopisma w języku polskim. Brak wyraźnych argumentów za biurokratycznym przypisywaniem dyscyplin naukowych do czasopism na ministerialnej liście, a wielodyscyplinarne czasopisma powinny być wspierane. Otwarty dostęp do czasopism naukowych ma zalety, ale budzi obawy o równość dostępu autorów z mniej zamożnych krajów oraz o jakość. Drapieżne czasopisma, jako zjawisko patologiczne, należy zwalczać wspólnym wysiłkiem środowiska naukowców, wydawców i państwa. Czasopisma naukowe w dziedzinach nauk społecznych i humanistycznych mogłyby przyjmować krótsze, syntetyczne teksty, zważywszy na rolę monografii w tych naukach.
W perspektywie rozwoju nauki znaczenie mają nie tylko fakty naukowe, ale także środowisko, w którym dokonuje się przyrost wiedzy. Jednym z przejawów społecznego kontekstu uprawiania nauki jest istnienie czasopism naukowych, które powstawały jako reprezentacja potencjału konkretnego środowiska naukowego. Aktualne zmiany, zmierzające do próby wypracowania obiektywnych kryteriów oceny pracy naukowej, dotykają także procesu tworzenia czasopism naukowych. Związane są z tym szanse w postaci m.in. większego otwarcia na współpracę z innymi ośrodkami czy większej obiektywności oceny pracy naukowej. Towarzyszą temu jednak także zagrożenia, takie jak utrata lokalnej specyfiki danego czasopisma oraz depersonalizacja procesu wydawniczego.
EN
In the perspective of the development of science, not only scientific facts are important, but also the environment in which the increase in knowledge takes place. One of the manifestations of the social context of practicing science is the existence of scientific journals, which have been created as a representation of the potential of a specific scientific community. Current changes aimed at trying to develop objective criteria for assessing scientific work also affect the process of creating scientific journals. There are some opportunities associated with this, including: greater openness to cooperation with other centers, or greater objectivity in the assessment of scientific work. However, this is also accompanied by threats, such as the loss of the local specificity of a given magazine and the depersonalization of the publishing process.
Recent years have seen a growth of interest in the evaluation of research’s “social impact” on the side of national governments, research funding bodies and scholars in the field of academic evaluation. While several models of impact evaluation have been developed around the world, the most robust one is the British Impact Agenda, introduced in 2014 as element of the cyclical Research Excellence Framework (REF) exercise. Within this system research impact is assessed using a qualitative methodology based on case studies. The result of the impact assessment represents 20% of the final score of the unit of assessment. The article presents the context of the introduction of impact assessment in the United Kingdom and describes the advantages and challenges of the Impact Agenda. The last section of the text focuses on the “lessons learned from REF 2014” that can be relevant in the Polish context. The author closes with a reflection: a broad understanding of “social impact” of research – conceived as influence not only on the economy but also on NGOs, media, culture, education etc. – can help overcome the dichotomy between “blue skies” and utilitarian research.
PL
Ewaluacja wpływu badań naukowych na środowiska pozanaukowe stała się w ostatnich latach przedmiotem dużego zainteresowania rządów, instytucji zajmujących się dystrybucją funduszy oraz badaczy akademickiej ewaluacji. Na świecie opracowano kilka modeli takiej oceny, różniących się celami i metodologią. Najbardziej kompleksową inicjatywą jest brytyjski system Impact Agenda, wprowadzony w 2014 r. jako element cyklicznego systemu oceny Research Excellence Framework (REF). „Wpływ społeczny” (impact) jest w jego ramach oceniany za pomocą jakościowej metodologii opartej na studiach przypadku (case studies), zaś wynik ewaluacji stanowi 20% końcowej oceny jednostki naukowej. Artykuł przedstawia kontekst wprowadzenia oceny „wpływu społecznego” w Wielkiej Brytanii oraz opisuje metodologię REF, kładąc szczególny nacisk na ewaluację elementu „impact”. Następnie na podstawie literatury oraz badań własnych autorki omawia pozytywne efekty oraz ograniczenia Impact Agenda. Ostatnia część tekstu zawiera sugestie co do „lekcji wyniesionych z REF 2014”, które mogą stanowić punkt odniesienia dla podobnych inicjatyw w Polsce. Tekst zamyka teza, że szerokie rozumienie „wpływu społecznego” nauki jako wpływu nie tylko na gospodarkę, lecz także jako dialogu ze społeczeństwem obywatelskim, mediami, sferą kultury i edukacji, może stanowić wyjście poza dychotomię: nauka utylitarna vs. nauka bezużytyczna.
The interview explores the challenges related to the introduction of the Impact Agenda, its consequences for academic culture as well as the possibility of putting in place a similar evaluation framework in Poland. David Sweeney argues that while the Impact Agenda addresses some issues of British science, it cannot be simply transposed to other academic systems. Instead, policy makers should factor in the local academic culture and the particular aims set before science in their context.
PL
Wywiad dotyczy początków ewaluacji „wpływu społecznego”1 w Wielkiej Brytanii, jej konsekwencji dla kultury akademickiej, a także możliwości wprowadzenia podobnego systemu oceny w Polsce. David Sweeney przekonuje, że o ile Impact Agenda stanowi odpowiedź na wiele wyzwań brytyjskiej nauki, o tyle nie można przenieść tego systemu bezpośrednio na inny grunt. System ewaluacji w każdym kraju powinien być dostosowany do lokalnej kultury akademickiej i celów stawianych przed naukowcami.
The paper uses the concept of ‘parametric game’ to describe a strategy of academic work which has become wide-spread in Poland, due to the introduction of a particular policy of rewards. The ‘parametric game’ consists of doing research and publishing results in so as to enable fulfilling the requirements of a given research evaluation system. On the whole, researchers can use two main strategies in this game. The first strategy is ‘Impactitis,’ where only publications in journals with a high Impact Factor are acknowledged by a given scholarly community. The other strategy, whose definition and understanding are put forward in the present paper, is the so-called ‘running for points’ (the original Polish term being ‘punktoza’). In this strategy, the most ‘profitable’ choice is to publish several articles in journals without any Impact Factor rather than one paper in a toptier journal. On the basis of the Polish system, I present the main mechanisms that produce the running-for-points strategy and several mechanisms that make it possible to reduce the negative consequences of playing the parametric game in this way. The article concludes with a discussion of the Polish system. It suggests how the system can be improved and what lessons can be learnt from it. The conclusions are relevant for both scholars and policy makers in other countries.
PL
W artykule stosuję pojęcie „gry parametrycznej”, aby opisać strategię pracy akademickiej pojawiającej się w Polsce jako efekt wprowadzenia polityk punktowego nagradzania dorobku naukowego. „Gra parametryczna” oznacza realizowanie badań i publikowanie ich wyników w taki sposób, aby spełniać wymagania danego systemu ewaluacji nauki. W grze tej badacze mogą używać dwóch strategii. Pierwszą jest „impactitis”, w ramach której tylko publikacje w czasopismach z wysokim Impact Factorem są uznawane w danej społeczności akademickiej. Drugą strategią jest „punktoza”. Polega ona na tym, że bardziej opłacalne jest opublikowanie kilku artykułów w czasopiśmie bez Impact Factora niż opublikowanie jednego artykułu w wysoko punktowanym czasopiśmie. Na podstawie polskiego systemu ewaluacji nauki (parametryzacji) pokazuję główne mechanizmy wytwarzania punktozy oraz takie, które mają ograniczać negatywne konsekwencje grania w parametryczną grę. Tekst kończy się dyskusją na temat rozwiązań polskiego systemu oraz rekomendacjami, jak system ten można ulepszyć i jakie lekcje należy wyciągnąć z obecnej sytuacji. Przedstawione konkluzje są istotne zarówno dla badaczy, jak i decydentów z obszaru polityki naukowej z innych krajów.
This article discusses the open-identity label, i.e., the practice of disclosing reviewers’ names in published scholarly books, a common practice in Central and Eastern European countries. This study’s objective is to verify whether the open-identity label is a type of peer-review label (like those used in Finland and Flanders, i.e., the Flemish part of Belgium), and as such, whether it can be used as a delineation criterion in various systems used to evaluate scholarly publications. We have conducted a two-phase sequential explanatory study. In the first phase, interviews with 20 of the 40 largest Polish publishers of scholarly books were conducted to investigate how Polish publishers control peer reviews and whether the open-identity label can be used to identify peer-reviewed books. In the other phase, two questionnaires were used to analyze perceptions of peer-review and open-identity labelling among authors (n = 600) and reviewers (n = 875) of books published by these 20 publishers. Integrated results allowed us to verify publishers’ claims concerning their peer-review practices. Our findings reveal that publishers actually control peer reviews by providing assessment criteria to reviewers and sending reviews to authors. Publishers rarely ask for permission to disclose reviewers’ names, but it is obvious to reviewers that this practice of disclosing names is part of peer reviewing. This study also shows that only the names of reviewers who accepted manuscripts for publication are disclosed. Thus, most importantly, our analysis shows that the open-identity label that Polish publishers use is a type of peer-review label like those used in Flanders and Finland, and as such, it can be used to identify peer-reviewed scholarly books.
PL
W tym artykule omawiamy etykiety z otwartymi danymi recenzentów, czyli praktykę ujawniania danych recenzentów w monografiach naukowych, która jest powszechna w krajach Europy Środkowej i Wschodniej. Celem badania było sprawdzenie, czy etykieta z otwartymi danymi recenzentów jest rodzajem etykiety z informacją o recenzowaniu (na podobieństwo tej stosowanej w Finlandii i Flandrii, tj. we flamandzkiej części Belgii), i, czy jako taka, może być używana jako kryterium w różnych systemach wykorzystywanych do oceny publikacji naukowych. Przeprowadziliśmy dwufazowe badanie z wykorzystaniem sekwencyjnej strategii eksploracyjnej. W pierwszej fazie przeprowadziliśmy wywiady z reprezentantami dwudziestu spośród czterdziestu największych polskich wydawnictw naukowych w celu zbadania, w jaki sposób polscy wydawcy kontrolują proces recenzowania oraz czy można wykorzystać etykiety z otwartymi danymi recenzentów do identyfikacji monografii recenzowanych. W drugiej fazie przeprowadziliśmy dwie ankiety mające na celu analizę postrzegania procesu recenzowania oraz etykiet z otwartymi danymi recenzentów przez autorów (n = 600) oraz recenzentów (n = 875) książek opublikowanych przez dwadzieścia poddanych badaniu wydawnictw. Zintegrowane wyniki pozwoliły nam zweryfikować stwierdzenia wydawców dotyczące ich praktyk związanych z procesem recenzowania. Nasze wyniki wskazują, że wydawcy rzeczywiście kontrolują proces recenzowania poprzez dostarczanie recenzentom kryteriów oceny oraz przesyłanie recenzji autorom. Wydawcy rzadko proszą o pozwolenie na ujawnienie nazwisk recenzentów, ale dla recenzentów oczywistym jest, że umieszczanie ich danych w monografii jest częścią procesu recenzowania. Badanie pokazuje również, że ujawniane są dane tylko tych recenzentów, którzy przyjęli manuskrypt do publikacji. A zatem, co najważniejsze, nasza analiza wykazała, że etykieta z otwartymi danymi recenzentów, której używają polscy wydawcy, jest rodzajem etykiety z informacją o recenzowaniu, takiej jak ta stosowana we Flandrii i Finlandii, i, jako taka, może być stosowana do identyfikacji recenzowanych monografii naukowych.
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.