Jak rozpoznać recenzowane publikacje – o etykietach z otwartymi danymi recenzentów w monografiach naukowych

• Authors: Emanuel Kulczycki , Ewa A. Rozkosz , Tim C. E. Engels , Raf Guns , Marek Hołowiecki , Janne Pölönen , Kinga Ciereszko
• Languages of publication: PL

Abstracts

PL

W tym artykule omawiamy etykiety z otwartymi danymi recenzentów, czyli praktykę ujawniania danych recenzentów w monografiach naukowych, która jest powszechna w krajach Europy Środkowej i Wschodniej. Celem badania było sprawdzenie, czy etykieta z otwartymi danymi recenzentów jest rodzajem etykiety z informacją o recenzowaniu (na podobieństwo tej stosowanej w Finlandii i Flandrii, tj. we flamandzkiej części Belgii), i, czy jako taka, może być używana jako kryterium w różnych systemach wykorzystywanych do oceny publikacji naukowych. Przeprowadziliśmy dwufazowe badanie z wykorzystaniem sekwencyjnej strategii eksploracyjnej. W pierwszej fazie przeprowadziliśmy wywiady z reprezentantami dwudziestu spośród czterdziestu największych polskich wydawnictw naukowych w celu zbadania, w jaki sposób polscy wydawcy kontrolują proces recenzowania oraz czy można wykorzystać etykiety z otwartymi danymi recenzentów do identyfikacji monografii recenzowanych. W drugiej fazie przeprowadziliśmy dwie ankiety mające na celu analizę postrzegania procesu recenzowania oraz etykiet z otwartymi danymi recenzentów przez autorów (n = 600) oraz recenzentów (n = 875) książek opublikowanych przez dwadzieścia poddanych badaniu wydawnictw. Zintegrowane wyniki pozwoliły nam zweryfikować stwierdzenia wydawców dotyczące ich praktyk związanych z procesem recenzowania. Nasze wyniki wskazują, że wydawcy rzeczywiście kontrolują proces recenzowania poprzez dostarczanie recenzentom kryteriów oceny oraz przesyłanie recenzji autorom. Wydawcy rzadko proszą o pozwolenie na ujawnienie nazwisk recenzentów, ale dla recenzentów oczywistym jest, że umieszczanie ich danych w monografii jest częścią procesu recenzowania. Badanie pokazuje również, że ujawniane są dane tylko tych recenzentów, którzy przyjęli manuskrypt do publikacji. A zatem, co najważniejsze, nasza analiza wykazała, że etykieta z otwartymi danymi recenzentów, której używają polscy wydawcy, jest rodzajem etykiety z informacją o recenzowaniu, takiej jak ta stosowana we Flandrii i Finlandii, i, jako taka, może być stosowana do identyfikacji recenzowanych monografii naukowych.

EN

This article discusses the open-identity label, i.e., the practice of disclosing reviewers’ names in published scholarly books, a common practice in Central and Eastern European countries. This study’s objective is to verify whether the open-identity label is a type of peer-review label (like those used in Finland and Flanders, i.e., the Flemish part of Belgium), and as such, whether it can be used as a delineation criterion in various systems used to evaluate scholarly publications. We have conducted a two-phase sequential explanatory study. In the first phase, interviews with 20 of the 40 largest Polish publishers of scholarly books were conducted to investigate how Polish publishers control peer reviews and whether the open-identity label can be used to identify peer-reviewed books. In the other phase, two questionnaires were used to analyze perceptions of peer-review and open-identity labelling among authors (n = 600) and reviewers (n = 875) of books published by these 20 publishers. Integrated results allowed us to verify publishers’ claims concerning their peer-review practices. Our findings reveal that publishers actually control peer reviews by providing assessment criteria to reviewers and sending reviews to authors. Publishers rarely ask for permission to disclose reviewers’ names, but it is obvious to reviewers that this practice of disclosing names is part of peer reviewing. This study also shows that only the names of reviewers who accepted manuscripts for publication are disclosed. Thus, most importantly, our analysis shows that the open-identity label that Polish publishers use is a type of peer-review label like those used in Flanders and Finland, and as such, it can be used to identify peer-reviewed scholarly books.

Keywords

PL

etykiety z otwartymi danymi recenzentów; etykiety z informacją o recenzowaniu; recenzowanie; recenzje; monografie naukowe; ewaluacja nauki; publikacje naukowe

EN

open-identity label; peer review; publishers; scholarly book; Poland; open-identity label; peer review; publishers; scholarly book; Poland

• Publisher: Uniwersytet im. Adama Mickiewicza w Poznaniu
• Journal: Nauka i Szkolnictwo Wyższe
• Year: 2019
• Issue: 1-2(53-54)

Dates

published

2019-12-01

Contributors

author

Emanuel Kulczycki

• Uniwersytet im. Adama Mickiewicza w Poznaniu

• https://orcid.org/0000-0001-6530-3609

author

Ewa A. Rozkosz

• Uniwersytet im. Adama Mickiewicza w Poznaniu

author

Tim C. E. Engels

• Uniwersytet w Antwerpii

author

Raf Guns

• Uniwersytet w Antwerpii

author

Marek Hołowiecki

• Uniwersytet im. Adama Mickiewicza w Poznaniu

author

Janne Pölönen

• Federation of Finnish Learned Societies

author

Kinga Ciereszko

• Uniwersytet im. Adama Mickiewicza w Poznaniu

References

• Björk, B.-C., Solomon, D. (2013). The publishing delay in scholarly peer-reviewed journals. Journal of Informetrics 7(4): 914–923. doi: 10.1016/j.joi.2013.09.001.
• Marsh, H.W., Jayasinghe, U.W., Bond, N.W. (2008). Improving the peer-review processfor grant applications: Reliability, validity, bias, and generalizability. American Psychologist 63(3): 160–168. doi: 10.1037/0003-066X.63.3.160.
• Giménez-Toledo, E., Sivertsen, G., Mañana-Rodríguez, J. (2017). Peer review as a delineation criterion in data sources for the assessment and measurement of scholarly book publishing in social sciences and humanities. 16th International Conference on Scientometrics and Informetrics, ISSI 2017. ss. 118–124.
• Giménez-Toledo, E., Mañana-Rodríguez, J., Sivertsen, G. (2017). Scholarly book publishing: Its information sources for evaluation in the social sciences and humanities. Research Evaluation 26(2): 91–101. doi: 10.1093/reseval/rvx007
• Langfeldt, L. (2006). The policy challenges of peer review: Managing bias, conflictof interests and interdisciplinary assessments. Research Evaluation 15(1): 31–41. doi: 10.3152/147154406781776039.
• Daniel, H.-D. (1993). Guardians of science: Fairness and reliability of peer review.Weinheim, Germany: VCH Verlagsgesellschaft.
• König, T. (2016). Peer Review in the Social Sciences and Humanities at the European Level:The Experiences of the European Research Council. W: Ochsner, M., Hug, S.E., Hans-Dieter, D., red. Research Assessment in the Humanities: Towards Criteria and Procedures. Cham, Swit¬zerland: Springer International Publishing. ss. 151–163. doi: 10.1007/978-3-319-29016-4_12.
• Spezi, V., Wakeling, S., Pinfield, S., Fry, J., Creaser, C., Willett, P. (2018). „Let the community decide”? The vision and reality of soundness-only peer review in open-access mega-journals. Journal of Documentation 74(1): 137–61. doi: 10.1108/JD-06-2017-0092.
• Pölönen, J. (2018). Applications of, and Experiences with, the Norwegian Model in Finland. Journal of Data and Information Science 3(4): 30–43. doi: 10.2478/jdis-2018-0019.
• Giménez-Toledo, E., Mañana-Rodríguez, J., Engels, T.C.E., Guns, R., Kulczycki, E., Ochsner, M. et al. (2018). Taking scholarly books into account, Part II: A comparisonof 19 European countries in evaluation and funding. Scientometrics. doi: 10.1007/s11192-018-2956-7.
• Kulczycki, E. (2018). The diversity of monographs: Changing landscape of book evaluation in Poland. Aslib Journal of Information Management 70(6): 608–622. doi: 10.1108/AJIM-03-2018-0062.
• Pölönen, J., Engels, T.C.E., Guns, R., Verleysen, F.T. (2017). Is my publication peer reviewed? A comparison of top-down and bottom-up identification of peer review in the framework of the Finnish and Flemish performance-based research funding systems. Science, Technology and Innovation Indicators. Paris, France.
• Verleysen, F.T., Engels, T.C.E. (2013). A label for peer-reviewed books. Journal of the Association for Information Science and Technology 64(2): 428–430. doi: 10.1002/asi.22836.
• Borghart, P. (2013). A label for peer-reviewed books? Some critical reflections. Learned Publishing 26(3): 167–171. doi: 10.1087/20130303.
• Engels, T.C.E., Guns, R. (2018). The Flemish performance-based research funding system: A unique variant of the Norwegian model. Journal of Data and Information Science 3(4): 44–59. doi: 10.2478/jdis-2018-0020.
• Polka, J.K., Kiley, R., Konforti, B., Stern, B., Vale, R.D. (2018). Publish peer reviews. Nat. 560: 545–547. doi: 10.1038/d41586-018-06032-w.
• Ross-Hellauer, T., Deppe, A., Schmidt, B. (2017). Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLoS One. 12(12): e0189311. doi: 10.1371/journal.pone.0189311.
• Creswell, J. (2014). Research Design: Qualitative, Quantitative, and Mixed-Methods Approaches. Thousand Oaks, CA: Sage.
• Bernard, H.R. (2006). Research methods in anthropology: Qualitative and quantitative approaches. 4th ed. Lanham, MD: AltaMira.
• Saldaña, J. (2009). The Coding Manual for Qualitative Researchers. Los Angeles, CA: SAGE. doi: 10.1017/CBO9781107415324.004.
• Fetters, M.D., Curry, L.A., Creswell, J.W. (2013). Achieving integration in mixed-methods designs: Principles and practices. Health Services Research 48(6pt2): 2134–2156. doi: 10.1111/1475-6773.12117.
• Fetters, M.D., Freshwater, D. (2015). Publishing a Methodological Mixed Methods Research Article. The Journal of Mixed Methods Research 9(3): 203–213. doi: 10.1177/1558689815594687.
• Baldwin, M. (2018). Scientific Autonomy, Public Accountability, and the Rise of „Peer Review” in the Cold War United States. Isis 109(3): 538–558.
• Biagioli, M. (2002). From Book Censorship to Academic Peer Review. Emergences: Journal for the Study of Media & Composite Cultures 12(1): 11–45. doi: 10.1080/1045722022000003435.

Identifiers

DOI

10.14746/nisw.2019.1-2.6