Ewaluacja i wskaźniki w cyklu planowania i realizacji polityk publicznych

• Authors: Górniak Jarosław , Keler Karolina

Title variants

EN

Evaluation and Indicators in the Cycle of Planning and Realization of Public Policies

• Languages of publication: PL

Abstracts

PL

Celem artykułu jest przedstawienie funkcji ewaluacji i wskaźników w cyklu polityk publicznych oraz omówienie problemów związanych z realizacją tych funkcji. W szczególności uwzględniono fazę oceny i planowania polityk oraz omówiono funkcje pomiaru efektów programów przy pomocy wskaźników jako kluczowej funkcji ewaluacji. W pierwszej części artykułu opisano szczegółowo funkcje diagnozy, wskaźników i ewaluacji w cyklu polityk publicznych. W drugiej części zaprezentowano ewaluację i wykorzystanie wskaźników na etapie oceny zakończonych projektów. W tej części rozważań omówiono również koncepcję ewaluacji opartą o teorię programu oraz znaczenie pomiaru efektu netto dla zidentyfikowania przyczynowego oddziaływania interwencji. Autorzy stoją na stanowisku, że należy traktować jako rezultaty wszystkie zamierzone konsekwencje interwencji (programu, polityki) dla bezpośrednich grup (układów) docelowych, niezależnie od tego, czy występują natychmiast, czy po pewnym czasie od interwencji; jako oddziaływania należy traktować zamierzone i niezamierzone skutki interwencji dla szerszego układu, w którym wystąpił problem wymagający interwencji (Komisja Europejska traktuje odłożone w czasie rezultaty jako oddziaływanie). Wskazano trudności wiążące się z pomiarem oddziaływania interwencji, a jednocześnie podkreślono, że uzyskanie wymiernego rezultatu jest warunkiem koniecznym oczekiwania, że interwencja miała swoje oddziaływanie. W części trzeciej poddano dyskusji rolę wskaźników i ewaluacji w planowaniu polityk publicznych. Szczególną uwagę zwrócono na właściwe definiowanie celów w procesie programowania polityk oraz wagę ustalenia dobrych wskaźników. Położono nacisk na różnice w sposobie ujęcia celów jako ogólnych zamiarów i wizji, precyzyjnie ujętych zamierzonych efektów działań i zaplanowanych wartości przyjętych wskaźników tych efektów. Przedstawiono problemy z ustalaniem wartości wskaźników oraz związków występujących pomiędzy pomiarem produktów, rezultatów i oddziaływania interwencji. Autorzy podkreślają w artykule, że ewaluacja i wskaźniki mogą być użytecznym narzędziem prowadzenia polityk publicznych, ale zastosowanie ich w praktyce wymaga poradzenia sobie z omówionymi w tekście problemami.

EN

he purpose of the article is to present the functions of evaluation and indicators in a public policy cycle, as well as discuss problems related to the execution of those functions. In particular, policy formulation and evaluation phases as well as measurement of programs'effects via indicators are taken into consideration. The first part includes a detailed description of the functions of diagnosis, indicators and evaluation in a public policy cycle. The second part of the paper outlines evaluation and the utilization of indicators at the evaluation stage of the cycle. The part concludes with a discussion of theory-driven evaluation and the significance of measuring net effects for the identification of causal impacts of a given intervention. The authors believe that we should treat as results all the intended effects of a given intervention (program, policy) for ultimate beneficiaries, regardless of when they occur, whether they are immediate or delayed, whereas impacts should be construed as intended and unintended effects for the broader system in which problems have arisen (the European Commission considers delayed results as impacts). Difficulties related to the measurement of impacts of an intervention impact are also discussed. The authors note that obtaining measurable results is a necessary condition for any impact of the intervention to take place. In the third part of the article, the authors discuss the role of indicators and evaluation in public policy formulation. Special attention is drawn to the need for a proper definition of objectives and the choice of relevant indicators in the process of public policy formulation. The authors underscore the fact that there exist considerable differences in defining purposes or intentions as goals, objectives and targets. The paper also discussed problems related to the setting of target values for indicators as well as the relationships among the measurement of outputs, results, and impacts of an intervention. In conclusion, the authors emphasize that evaluation and indicators can constitute useful tools in conducting public policies, but putting them into practice requires coping with problems discussed in the article.

Keywords

PL

ewaluacja; wskaźniki; cykl polityk publicznych

EN

politics; social indicators; EU programme; method of project evaluation

• Publisher: Uniwersytet Ekonomiczny w Krakowie, Małopolska Szkoła Administracji Publicznej
• Journal: Zarządzanie Publiczne / Public Governance
• Year: 2008
• Issue: 1(3)
• Pages: 109-124

Contributors

author

Górniak Jarosław

• Uniwersytet Jagielloński

author

Keler Karolina

• Uniwersytet Jagielloński

References

• Anderson Moore K., Brown В.V., Scarupa HJ. (2003). The Uses (and Misuses) of Social Indicators: Implications for Public Policy. Washington: Child Trends, Research Brief.
• Bauer R.A. (red.) (1966). Social Indicators. Cambridge-London: MIT Press.
• Bridgman P., Davis G. (2004). The Australian Policy Handbook (wyd. 3). Sydney: Allen ScUnwin.
• Chelimsky E. (1997). "The Coming Transformations in Evaluation", w: E. Chelimsky, W.R. Shadish (red.), Evaluation for the 21st Century. London: Sage Publications.
• European Commision (2000). Indicators for Monitoring and Evaluation: An indicative methodology. The New Programming period 2000-2006: methodological working papers. Working Paper, nr 3.
• European Commission (2006a). The New Programming Period 2007-2013. Indicative Guidelines On Evaluation Methods: Ex Ante Evaluation. Working Document, nr l, sierpień.
• European Commission (2006b). The New Programming Period 2007-2013. Indicative Guidelines On Evaluation Methods: Monitoring And Evaluation Indicators. Working Document, nr 2, sierpień.
• European Commission (2006c). The New Programming Period 2007-2013. Indicative Guidelines On Evaluation Methods: Evaluation During The Programming Period. Working Document, nr 5, październik.
• Ekos Research Associates Inc. (1998). The Use of Social Indicators as Evaluation Instruments. Final Report. Przygotowany dla Strategic Evaluation and Monitoring Human, Resources Development Canada, sierpień, SP-AH064E-08-98 (dostępny także po francusku).
• Górniak J. (2007). "Ewaluacja w cyklu polityk publicznych", w: S. Mazur (red.) Ewaluacja funduszy strukturalnych -perspektywa regionalna. Kraków: MSAP UE.
• Górniak J., Keler K. (2007). "Wskaźniki w ewaluacji ex-post programów publicznych", w: A. Haber (red.), "Ewaluacja ex-post teoria i praktyka badawcza". Warszawa: PARP.
• Komisja Europejska (1997). Ewaluacja programów wydatków Unii Europejskiej: Przewodnik. Ewaluacja w połowie okresu i ex-post. Dyrekcja Generalna XIX - Budżet, (nieoficjalne tłumaczenie tekstu wykonane przez Urząd Komitetu Integracji Europejskiej oraz francuskie Krajowe Centrum Terytorialnej Służby Cywilnej).
• Komisja Europejska (2006). Nowy okres programowania 2007-2013. Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji. Dokument roboczy nr 2, sierpień (polskie tłumaczenie European Commission 2006b).
• Land K.C. (2000). "Social indicators", w: E.F. Borgatta, R.J.V. Montgomery (red.), Encyclopedia of Sociology. Second Edition, t. 4. New York-Detroit-San Francisco - London-Boston -Woodbridge: Macmillan Reference, s. 2682-2690.
• Leviton L.C. i in. (1998). "Teaching Evaluation Using Evaluability Assessment", Evaluation, t. 4(4), s. 389-409.
• Noll H.-H. (2002). "Social Indicators and Quality of Life Research: Background, Achievements and Current Trends", w: N. Genov (red.), Advances in Sociological Knowledge over Half a Century,. Paris: International Social Science Council, s. 168-206.
• Osborne D., Gaebler T. (1992). Reinventing Government: How the Entrepreneurial Spirit Is Transforming the Public Sector. Reading: Addison-Wesley.
• Sabatier P.A., Mazmanian D.A. (1981). "The Implementation of Public Policy: A Framework of Analysis", w: D.A. Mazmanian, P.A. Sabatier (red.), Effective Policy Implementation. Toronto: Heath, Lexington.
• Sanderson I. (2000). "Evaluation in Complex Policy Systems", Evaluation, t. 6(4).