Użyteczność ewaluacji jako narzędzia zarządzania regionalnymi programami operacyjnymi

• Authors: Tomasz Kupiec

Title variants

EN

The usability of evaluation as a tool for managing regional operational programmes

• Languages of publication: PL EN

Abstracts

PL

Artykuł prezentuje wyniki badania, którego celem była ocena użyteczności ewaluacji realizowanych na potrzeby regionalnych programów operacyjnych 2007–2013 (RPO). Badanymi elementami, składającymi się na użyteczność ewaluacji, były: jakość, adekwatność i wiarygodność wniosków wynikających z ewaluacji. Badanie zrealizowano w formie analizy dokumentów na reprezentatywnej próbie 71 raportów ewaluacyjnych ukończonych w latach 2008–2012. Wyniki badania pokazują, że wiele raportów nie dostarcza istotnych rekomendacji oraz nie udziela odpowiedzi na kluczowe pytania badawcze. Najczęściej w trakcie ewaluacji nie udaje się odpowiedzieć na pytanie o wpływ RPO na rozwój społeczno-gospodarczy województw. Zaobserwowana niska użyteczność dokonywanych ocen stanowi podstawę do sformułowania wniosków o negatywnych trendach w rozwoju systemu ewaluacji RPO, obejmujących nastawienie systemu na dostarczanie prostych informacji i „produkcję raportów”, a nie zaspokajanie faktycznego popytu na wiedzę.

EN

The paper presents an analysis of usability of regional operational programmes 2007−2013 (ROP) evaluations. The elements of usability under study are: quality, relevance, and credibility of the evaluation assumptions. The study consists in desk research of a representative sample (n = 71) of the evaluation reports completed between 2008 and 2012. The results show that many reports do not contain important recommendations and do not answer key research questions. In most cases, the evaluations fail to supply an answer on the impact of ROP on the socio-economic development of regions. The limited usefulness of evaluation reports leads to conclusions about negative trends in the development of the ROP evaluation system, which is focused on providing simple information, reports production, and does not respond to actual demand for knowledge.

Keywords

PL

użyteczność ewaluacji; system ewaluacji; regionalny program operacyjny; polityka spójności

EN

evaluation usability; evaluation system; regional operational programme; cohesion policy

• Publisher: University of Warsaw - Centre for European Regional and Local Studies (EUROREG) and Regional Studies Association - Polish Section
• Journal: Studia Regionalne i Lokalne
• Year: 2014
• Issue: 2(56)
• Pages: 52-67

Contributors

author

Tomasz Kupiec

• Akademia Leona Koźmińskiego w Warszawie

References

• Alkin M.C., 1985, A Guide for Evaluation Decision Makers, Beverly Hills, CA: Sage.
• Alkin M.C., 1990, Debates on Evaluation, Newbury Park, CA: Sage.
• Alkin M.C., Coyle K., 1988, „Thoughts on evaluation utilization, misutilization and nonutilization”, Studies in Educational Evaluation, t. 14, nr 3, s. 331–340.
• Bachtler J. , 2001, „Quod erat demonstrandum ? Ewaluacja polityki regionalnej”, Studia Regionalne i Lokalne, nr 4, s. 41–59.
• Bachtler J., 2011, „Evaluating the effects of regional policies – the European state of art”, w: K. Olejniczak, M. Kozak, S. Bienias (red.), Evaluating the Effects of Regional Interventions. A Look Beyond Current Structural Funds’ Practice, Warsaw: Ministry of Regional Development, s. 90–113.
• Bienias S. et al., 2009, „Evaluation in Poland: Brief overview of evaluation process of EU Cohesion Policy funds”, w: P. Żuber (koord.), Evaluation Systems in the Visegrad Member States, Warszawa: Ministerstwo Rozwoju Regionalnego.
• Clarke A., 1999, Evaluation Research: An Introduction to Principles, Methods and Practice, London: Sage.
• Cousins J. B., Leithwood K.A., 1986, „Current empirical research on evaluation utilization”, Review of Educational Research, t. 56, nr 3, s. 331–364.
• Cousins J.B. (2003). „Utilization effects of participatory evaluation”, w: T. Kellaghan, D.L. Stufflebeam, L.A. Wingate (red.), International Handbook of Educational Evaluation, Boston: Kluwer, s. 245–265.
• Dahler-Larsen P., 1998, „Beyond non-utilization of evaluations: An institutional perspective”, Knowledge, Technology, and Policy, t. 11, nr 1–2, s. 64–90.
• Farell K. et al., 2002, Evaluation Made Very Easy Accessible, and Logical, Atlantic Centre of Excellence for Women’s Health, http://www.acewh.dal.ca/eng/reports/EVAL.pdf [dostęp: 22.01.2013].
• Haber A., 2008, „Zarządzanie badaniem ewaluacyjnym – perspektywa zlecającego”, w: K. Olejniczak, M. Kozak, B. Ledzion (red.), Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, Warszawa: Wydawnictwa Akademickie i Profesjonalne, s. 212–230.
• Henry G.T., 2000, „Why not use?”, New Directions for Evaluation, nr 88, s. 85–98.
• Henry G.T., Mark M.M., 2003, „Beyond use: Understanding evaluation’s influence on attitudes and actions”, American Journal of Evaluation, t. 24, nr 3, s. 293–314.
• Johnson, R.B., 1998, „Toward a theoretical model of evaluation utilization”, Evaluation and Program Planning, t. 21, nr 1, s. 93–110.
• Ledzion B., 2008, „Zarządzanie kontraktem ewaluacyjnym – perspektywa wykonawcy”, w: K. Olejniczak, M. Kozak, B. Ledzion (red.), Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki. Warszawa: Wydawnictwa Akademickie i Profesjonalne, s. 231–248.
• Leeuw F.L., Furubo J.E., 2008, „Evaluation systems: What are they and why study them?”, Evaluation, t. 14, nr 2, s. 157–169.
• Mark M.M., Henry G.T., 2004, „The mechanisms and outcomes of evaluation influence”, Evaluation, t. 10, nr 1, s. 35–57.
• National Evaluation Unit, Skórska P., 2011, „Poland”, w: K. Olejniczak, P. Strzęboszewski, S. Bienias (red.), Evaluation of Cohesion Policy: Overview of Practices, Warsaw: Ministry of Regional Development.
• Olejniczak K., 2005, „Teoria i praktyka ewaluacji w świetle doświadczeń europejskich”, Studia Regionalne i Lokalne, nr 4, s. 35–58.
• Olejniczak K., 2008, Mechanizmy wykorzystania ewaluacji. Studium ewaluacji średniookresowych INTERREG III, Warszawa: Wydawnictwo Naukowe Scholar.
• Olejniczak K., 2009, „Mini-case study: Building the evaluation system in Poland”, w: European Policies Research Centre, Ex Post Evaluation of Cohesion Policy Programmes 2000-06 Co-financed by ERDF. Work Package 11: Management and Implementation System for Cohesion Policy, Glasgow: European Commission.
• Owen J.M., 2007, Program Evaluation: Forms and Approaches, London: The Guilford Press.
• Patton M.Q., 1997, Utilization-focused Evaluation: The New Century Text (wyd. 3), Thousand Oaks, CA: Sage.
• Rossi P.H., Freeman H.E., Lipsey M.W. (2004). Evaluation: A Systematic Approach (wyd. 7), Thousand Oaks, London: Sage.
• Royse D., Thyer B., Padget D., Logan T., 2001, Program Evaluation: An Introduction (wyd. 3), Belmont, CA: Wadsworth.
• Saunders M., 2012, „The use and usability of evaluation outputs: A social practice approach”, Evaluation, t. 18, nr 4, s. 421–436.
• Scriven M., 2007, Key Evaluation Checklist, Evaluation Checklists Project, University of Michigan, http://dmeforpeace.org/sites/default/files/Scriven_Key%20Evaluation%20Checklist.pdf (dostęp: 22.01.2013).
• Toulemonde J., 2000, „Evaluation culture(s) in Europe: Differences and convergence between national practices”, Vierteljahrshefte zur Wirtschaftsforschung, t. 69, nr 3, s. 350–357.

Identifiers

DOI

10.7366/1509499525603