Constructive evaluation - Application, Strengths and Limitations of the Approach. Based on the Example of the Very Young Culture Program Evaluation

• Authors: Andrzej Stawicki
• Languages of publication: EN

Abstracts

EN

The paper includes the description of the experience gained during the evaluation of the Very Young Culture program (Bardzo Młoda Kultura – BMK). Very Young Culture is an innovative program whose main goal is to strengthen the organizations operating in the field of cultural education and create trans-sectoral network of entities cooperating in this field. The long term goal was to shape young people’s open attitudes, tolerance and the ability to participate critically in culture. The program’s innovation lies in the way it was managed. The author of the program is prof. Marek Krajewski from the University of Adam Mickiewicz in Poznań. The program had a nationwide range and was carried out at the regional level. The coordinator of the program was the National Center for Culture and the Ministry of Culture and National Heritage. The program operated on three levels - central, regional and local, and each of them provided for the implementation of an evaluation study. This article refers to the regional part of the BMK program carried out in the Lubelskie Voivodeship. The evaluation research used the triangulation of both qualitative and quantitative methods to better capture the value of the program from the perspective of different stakeholders. The method of evaluation based on the theory of the program with the dominance of qualitative methods was used. The evaluation was continuous and was intended as a learning mechanism in the implementation of the program. The problem in the evaluation of the program was the immeasurability of long-term results. For example, it was difficult to express the value of social and cultural capital, which were strengthened as a result of the program. In view of such long-term goals, an evaluation was based on short-term variables, such as the self-assessment of competences acquired by the program participants and the resulting cooperation network. The article will present the best solutions for measuring the results of the program realized in the field of culture and the proposal to measure long-term results based on existing data banks from various social research cases. The studies used a constructivist approach to evaluation. The experience gained allows to formulate conclusions regarding strengths and limitations of this approach. 

PL

Praca zawiera opis doświadczeń uzyskanych podczas ewaluacji programu Bardzo Młoda Kultura (BMK). Bardzo Młoda Kultura to innowacyjny program, którego głównym celem jest wzmocnienie organizacji działających w obszarze edukacji kulturalnej i stworzenie transsektorowej sieci podmiotów współpracujących w tej dziedzinie. Długookresowym celem programu było kształtowanie u młodych ludzi otwartych postaw, tolerancji i umiejętności krytycznego uczestnictwa w kulturze. Innowacja programu polega na sposobie, w jaki był on zarządzany. Autorem programu jest prof. Marek Krajewski z Uniwersytetu Adama Mickiewicza w Poznaniu. Program miał zasięg ogólnokrajowy i został przeprowadzony na poziomie regionalnym. Koordynatorem programu było Narodowe Centrum Kultury oraz Ministerstwo Kultury i Dziedzictwa Narodowego. Program działał na trzech poziomach: centralnym, regionalnym i lokalnym, i na każdym z nich przewidziano przeprowadzenie badania ewaluacyjnego. Niniejszy artykuł odnosi się do regionalnej części programu BMK przeprowadzonej w województwie lubelskim. W badaniu ewaluacyjnym zastosowano triangulację zarówno metod jakościowych, jak i ilościowych, aby lepiej uchwycić wartość programu z perspektywy różnych zainteresowanych stron. Zastosowano metodę oceny opartą na teorii programu z dominacją metod jakościowych. Ocena była ciągła i miała służyć jako mechanizm uczenia się podczas wdrażania programu. Problemem w ocenie programu była niemożność zmierzenia długoterminowych rezultatów. Na przykład trudno było wyrazić wartość kapitału społecznego i kulturalnego, które były wzmocnione w wyniku programu. W świetle takich długoterminowych celów ocena oparta była na zmiennych krótkoterminowych, takich jak samoocena kompetencji nabytych przez uczestników programu oraz ocena jakości współpracy w ramach powstałej sieci współpracy. W artykule zostaną przedstawione rozwiązania w zakresie mierzenia wyników programu realizowanego w dziedzinie kultury oraz propozycja pomiaru długoterminowych wyników w oparciu o istniejące banki danych z różnych badań społecznych. W badaniach zastosowano konstruktywistyczne podejście do ewaluacji. Zdobyte doświadczenie pozwala na sformułowanie wniosków dotyczących mocnych stron oraz ograniczeń tego podejścia. 

Keywords

EN

fourth generation evaluation; cultural education; triangulation

PL

ewaluacja czwartej generacji; edukacja kulturowa; triangulacja

• Publisher: Uniwersytet Marii Curie-Skłodowskiej. Instytut Socjologii
• Journal: Konteksty Społeczne
• Year: 2018
• Volume: 6
• Issue: 2

Dates

published

2018

online

2020-07-03

Contributors

author

Andrzej Stawicki

References

• Berger, P.L., Luckmann, T. (2010). Społeczne tworzenie rzeczywistości. Warszawa: PWN.
• Chen, H.T. (2012). Theory-driven evaluation: Conceptual framework, application and advancement. W: R. Strobl, O. Lobermeier, W. Heitmeyer (red.), Evaluation von Programmen und Projekten für eine demokratische Kultur (s. 17-40). Wiesbaden: Springer.
• Cousins, J.B., Earl, L.M. (1995). The Case for Participatory Evaluation. Theory, Research, Practice. W: J. B. Cousins, L. M. Earl (red.), Participatory evaluation in education: Studies in evaluation use organisational learning (s. 3-21). London: Flacner.
• Guba, E., Lincoln, Y. (1989). Fourth Generation Evaluation. Newbury Park, CA: Sage.
• House, E., Howe, K. (2000). Deliberative Democratic Evaluation. W: L. DeStefano, K. Ryan (red.), Evaluation as a democratic process: Promoting inclusion, dialogue and deliberation (s. 79-100). San Francisco: Jossey-Bass.
• Huebner, A. J., Betts, S. C. (1999). Examining Fourth Generation Evaluation. Application to Positive Youth Development. Evaluation, 5(3), 340-358. doi: 10.1177/13563899922209020
• Jaskuła, S. (2012). Ewaluacja rozwojowa jako wyzwanie współczesnego systemu edukacji. Zarządzanie Publiczne, 3(19), 89-98.
• Kolasa-Nowak, A., Kołtun, A., Stawicki, A. (2016), Edukacja kulturalna w województwie lubelskim z perspektywy praktyków. Centrum Spotkania Kultur. Lublin.
• Korporowicz, L. (2016). Ewaluacja w społeczeństwie. Doświadczenia polskie. Uniwersyteckie Czasopismo Socjologiczne, 15(2), 7-13.
• Krajewski, M., Frąckowiak, M. (2017). Razem w kulturze. Raport diagnostyczny w ramach programu Bardzo Młoda Kultura. Warszawa: Narodowe Centrum Kultury.
• Mertens, D.M. (2010). Research and Evaluation in Education and Psychology. Los Angeles, London, New Delhi, Singapore, Washington. DC: Sage Pubication.
• Mizerek, H. (2016). Ewaluacja edukacyjna w Polsce. Trajektorie, perspektywy i dylematy rozwoju. Zarządzanie Publiczne, 1(33), 1-16.
• Olejniczak, K., Kupiec, T., Raimondo, E. (2014). Brokerzy wiedzy. Nowe spojrzenie na rolę jednostek ewaluacyjnych. W: A. Haber, K. Olejniczak (red.), (R)ewaluacja 2. Wiedza w działaniu (s. 67-113). Warszawa: Polska Agencja Rozwoju Przedsiębiorczości.
• Patton, M. Q. (2011). Developmental evaluation. Applaying complexity concepts to enhance innovation and use. London, New York: The Guilford Press.
• Putnam, R. D. (1995). Bowling Alone: America’s Declining Social Capital. Journal of Democracy, 6(1), 65-78.
• Riegler, A. (2001). Towards a Radical Constructivist Understanding of Science. Foundations of Science, 6(1-3), 1-30.
• Współdziałanie w kulturze. Raport z realizacji programu Bardzo Młoda Kultura w 2017 roku. Warszawa: Narodowe Centrum Kultury.