Program evaluation use and its mechanisms: The case of Cohesion Policy in Polish regional administration

• Authors: Kupiec Tomasz

Title variants

PL

Wykorzystanie ewaluacji i jego mechanizmy w zarządzaniu regionalnymi programami operacyjnymi w polskich województwach

• Languages of publication: PL EN

Abstracts

PL

Artykuł omawia słabo dotychczas rozpoznaną kwestię wykorzystania ewaluacji w regionalnych programach operacyjnych wdrażanych przez polskie województwa. Analizę problemu poprzedziło założenie, iż ewaluacja jest długofalowym procesem produkującym strumień wiedzy wspierającej zarządzanie programem na wszystkich jego etapach. Na potrzeby badania zrealizowano trzy studia przypadków – programów regionalnych, instytucji nimi zarządzających i 44 ewaluacji zrealizowanych przez nie w latach 2007–2012. Wyniki wskazują na niski poziom wykorzystania ewaluacji, skutkującego jedynie drobnymi zmianami w procesie wdrażania. Bezpośrednimi barierami wykorzystania ewaluacji okazały się: niska jakość badań, oczywiste i mało znaczące wnioski, brak odpowiedzi na kluczowe pytania badawcze. Te z kolei wynikały z: braku kompetencji ewaluatorów oraz niewłaściwej metodyki badań.

EN

This article discusses evaluation use in the area of EU operational programs implemented by Polish regional administration, which is an uncharted territory. The analysis is based on the assumption that evaluation is a long-term process producing a stream of knowledge that supports management decisions throughout a program’s lifetime. Three cases of regional programs, their managing authorities and 44 evaluation studies completed by them between 2007 and 2012 were analyzed. The degree of evaluation use was found unsatisfactory and limited to minor modifications of the implementation process. The main barrier to the evaluation use was poor quality of evaluation studies, obvious and insignificant conclusions, reports missing answers to key questions. That resulted from other problems: incompetence of evaluators and inappropriate research methodologies.

Keywords

PL

wykorzystanie ewaluacji; ewaluacja programu; regionalne programy operacyjne; polityka spójności

EN

evaluation use; program evaluation; regional operational program; Poland; Cohesion Policy

• Publisher: Uniwersytet Ekonomiczny w Krakowie, Małopolska Szkoła Administracji Publicznej
• Journal: Zarządzanie Publiczne / Public Governance
• Year: 2015
• Issue: 3(33)
• Pages: 67-83

Contributors

author

Kupiec Tomasz

• EGO – Evaluation for Government Organizations S.C.

References

• Alkin M.C. (1985). A Guide for Evaluation Decision Makers. Beverly Hills, CA: Sage.
• Alkin, M.C., Coyle, K. (1988). “Thoughts on evaluation utilization, misutilization and non-utilization”, Studies in Educational Evaluation, 14(3): 331–340.
• Alkin, M.C., Daillak, R., White, P. (1979). Using Evaluations. Does Evaluation Make a Difference? Beverly Hills, CA: Sage.
• Alkin, M.C., Taut, S.M. (2003). “Unbundling evaluation use”, Studies in Educational Evaluation, 29: 1–12.Bachtler, J. (2001). “Quo erat demonstrandum? Ewaluacja polityki regionalnej”, Studia Regionalne i Lokalne, 7(4): 41–59.
• Bachtler, J., Wren, C. (2006). “Evaluation of European Union Cohesion Policy: Research questions and policy challenges”, Regional Studies, 40(2): 143–153.
• Balthasar, A. (2006). “The effects of Institutional Design on the Utilization of Evaluation. Evidenced using Qualitative Comparative Analysis (QCA)”, Evaluation, 12(3): 353–371.
• Balthasar, A. (2009). “Institutional design and utilization of evaluation: A contribution to a theory of evaluation influence based on Swiss experience”, Evaluation Review, 33(3): 226–256.
• Bingham, R.D., Felbinger, C.L. (2002). Evaluation in Practice: A Methodological Approach. New York: Seven Bridges Press.
• Bustelo, M. (2014). “Presidential editorial”, Evaluation, 20(1): 3–9.Chakravarthy, B.S. (1982). “Adaptation: A promising metaphor for strategic management”, The Academy of Management Review, 7(1): 35–49.
• Cooksy, L.J., Caracelli, V.J. (2005). “Quality, context, and use: Issues in achieving the goals of metaevaluation”, American Journal of Evaluation, 26(1): 31–42.
• Cousins, J.B. (2003). “Utilization effects of participatory evaluation”, in: T. Kellaghan, D.L. Stufflebeam, L.A. Wingate (eds.), International Handbook of Educational Evaluation. Boston: Kluwer, pp. 245–265.
• Cousins, J.B., Leithwood, K.A. (1986). “Current empirical research on evaluation utilization”, Review of Educational Research, 56(3): 331–364.
• Cousins, J.B., Leithwood, K.A. (1993). “Enhancing knowledge utilization as a strategy for school improvement”. Knowledge: Creation, Diffusion, Utilization, 14: 305–333.
• Dahler-Larsen, P. (2005). “Evaluation in public management”, in: E. Ferlie, L.E. Lynn, C. Pollitt (eds.), The Oxford Handbook of Public Management. Oxford: Oxford University Press, pp. 615–639.
• Dahler-Larsen, P. (2012). The Evaluation Society. Palo Alto, CA: Stanford Press.
• EPEC (2005). Study on the Use of Evaluation Results in the Commission. Final report, Paris: European Policy Evaluation Consortium.
• European Commission (2012) EVALSED: The resource for the evaluation of Socio-Economic Development, Guide, http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/guide/index_en.htm (access: 30.01.2013).
• Ferry, M., Olejniczak, K. (2008). Wykorzystanie ewaluacji w zarządzaniu programami unijnymi w Polsce. Warszawa: Ernst & Young Polska.
• Flyvbjerg B. (2006). “Five Misunderstandings About Case-Study Research”, Qualitative Inquiry, 12(2): 219–245.
• Furubo, J.E., Rist, R.C., Sandahl, R. (2002). International Atlas of Evaluation. New Brunswick: Transaction Publishers.
• Górniak, J. (2007). “Ewaluacja w cyklu polityk publicznych”, in: S. Mazur (ed.), Ewaluacja funduszy strukturalnych – perspektywa regionalna. Kraków, UE Katowice, MSAP, pp. 11–28.
• Haber, A., Szałaj, M. (eds.) (2010). Ewaluacja w strategicznym zarządzaniu publicznym. Warszawa: Polska Agencja Rozwoju Przedsiębiorczości.
• Henry, G.T., Mark, M.M. (2003). “Beyond use: Understanding evaluation’s influence on attitudes and actions”, American Journal of Evaluation, 24(3): 293–314.
• Højlund, S. (2014). “Evaluation use in the organizational context – changing focus to improve theory”, Evaluation, 20(1): 26–43.
• Johnson, K.W. (1980). “Stimulating evaluation use by integrating academia and practice”, Science Communication, 2(2): 237–262.
• Johnson, R.B. (1998). “Toward a theoretical model of evaluation utilization”, Evaluation and Program Planning, 21(4): 93–110.
• Johnson, K., Greenseid, L.O., Toal, S.A., King, J.A., Lawrenz, F., Volkov, B. (2009). “Research on evaluation use: A review of the empirical literature from 1986 to 2005”, American Journal of Evaluation, 30(3): 377–410.
• Kirkhart, K.E. (2000). “Reconceptualizing evaluation use: An integrated theory of influence”, New Directions for Evaluation, 88: 5–25.
• Knorr, K.D. (1977). “Policymakers’ use of social science knowledge: Symbolic or instrumental?”, in: C.H. Weiss (ed.), Using Social Research in Public Policy Making. Lexington, MA: Lexington Books, pp. 165–182.
• Kupiec, T. (2014a). “Evaluation practice of Regional Operational Programmes in Poland”, Management and Business Administration. Central Europe, 126(3): 135–151.
• Kupiec, T. (2014b). “Użyteczność ewaluacji jako narzędzia zarządzania regionalnymi programami operacyjnymi”, Studia Regionalne i Lokalne, 56(2): 52–67.
• Ledermann, S. (2011). “Exploring the necessary conditions for evaluation use in program change”, American Journal of Evaluation, 33(2): 159–178.
• Mark, M.M., Henry, G.T. (2004). “The mechanisms and outcomes of evaluation influence”, Evaluation 10(1): 35–57.
• Mazur, S. (2014). “Dowody naukowe w zarządzaniu publicznym”, in: A. Haber, K. Olejniczak (eds.), (R)ewaluacja 2. Wiedza w działaniu. Warszawa: Polska Agencja Rozwoju Przedsiębiorczości, pp. 155–160.
• Mazur, S., Olejniczak, K. (2012). “Rola organizacyjnego uczenia się we współczesnym zarządzaniu publicznym”, in: K. Olejniczak (ed.), Organizacje uczące się. Model dla administracji publicznej. Warszawa: Wydawnictwo Naukowe Scholar, pp. 25–60.
• Mazur, S., Olejniczak, K., Płoszaj, A. (2013). “Organizacyjne uczenie się w administracji publicznej – wnioski z porównania międzynarodowego, in: S. Mazur, A. Płoszaj (eds.) (2013), Zarządzanie wiedzą w organizacjach publicznych. Doświadczenia międzynarodowe. Warszawa: Wydawnictwo Naukowe Scholar, pp. 295–309.
• Mintzberg, H., Ahlstrand, B., Lampel, J. (1998). Strategy Safari. A Guided Tour Through the Wilds of Strategic Management. New York: The Free Press.
• National Evaluation Unit and Skórska, P. (2011). “Poland”, in: K. Olejniczak, P. Strzęboszewski, S. Bienias (eds.), Evaluation of Cohesion Policy: Overview of Practices. Draft Report for Polish Presidency. Warsaw: Ministry of Regional Development, pp. 196–206.
• Office, S.P.M.T.C. (1999). Professional Policy Making for the Twenty First Century. London: Cabinet Office.
• Olejniczak, K. (2008). Mechanizmy wykorzys-tania ewaluacji. Studium ewaluacji średniookresowych INTERREG III. Warszawa: Wydawnictwo Naukowe Scholar.
• Olejniczak, K. (2009). Praktyka ewaluacji efektów programów rozwoju regionalnego – studium porównawcze. Raporty i analizy EUROREG, nr 2/2009, Warszawa.
• Olejniczak, K. (2013). “System zarządzania polityką – propozycja uniwersalnych ram koncepcyjnych”. Zoon Politikon, 4: 41–55.Owen, J.M. (2007). Program Evaluation: Forms and Approaches. London: The Guilford Press.
• Patton, M.Q. (1997). Utilization-focused Evaluation: The New Century Text (3rd ed.). Thousand Oaks, CA: Sage.
• Patton, M.Q., Grimes, P.S., Guthrie, K.M., Bren -nan, N.J., French, B.D., Blyth, D.A. (1977). “In search of impact: An analysis of the utilization of federal health evaluation research”, in: C.H. Weiss (ed.), Using Social Research in Public Policy Making. Lexington, MA: Heath.
• Rist, R., Stame, N. (eds.) (2006). From Studies to Streams: Managing Evaluative Systems. London: Transaction Publishers.
• Saunders, M. (2012). “The use and usability of evaluation outputs: A social practice approach”, Evaluation, 18(4): 421–436.
• Shulha, L.M., Cousins, J.B. (1997). “Evaluation use: Theory, research, and practice since 1986”, Evaluation Practice, 18(3): 195–208.
• Stufflebeam, D.L. (2001). “The metaevaluation imperative”, American Journal of Evaluation, 22(2): 183–209.
• Weiss, C.H. (1972). “Utilization of evaluation: Toward comparative study”, in C.H. Weiss (red.), Evaluating Action Programs: Readings in Social Action and Education. Boston, MA: Allyn & Bacon.
• Weiss, C.H. (1980). “Knowledge creep and decision accretion”, Knowledge: Creation, Utilization, Diffusion, 1: 381–404.
• Weiss, C.H., Bucuvalas, M.D. (1980). Social Science Research and Decision-Making. New York: Columbia University Press.
• Williams, K., de Laat, B., Stern, E. (2002). The Use of Evaluation in the Commission Services. Final Report. Paris: Technopolis France.
• Zybała, A. (2012). “O lepszą jakość polityk publicznych”, Analizy i Opinie, 127, http://www.isp.org.pl/uploads/analyses/2048186281.pdf (access: 12.10.2015).
• Żuber, P., Bienias S. (2008). “System ewaluacji w Polsce – dotychczasowe doświadczenia i wyzwania na przyszłość”, in: K. Olejniczak, M. Kozak, B. Ledzion (eds.), Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki. Warszawa: Wydawnictwa Akademickie i Profesjonalne, pp. 84–98.

Identifiers

DOI

10.15678/ZP.2015.33.3.05