ASOK15602U Evaluering: Metode, teori og praksis

1. kursusgang

Forelæsning: Introduktion til evalueringsbegrebet og evaluering i samfundsperspektiv.

Herunder gennemgang af kursets struktur og præsentation af plan for holdundervisning.

Pensum:

Bredgaard, T. (2016). Introduktion. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 11-34). Kbh.: Hans Reitzel.

Vedung, E. (2016). Fire evalueringsbølger. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 37-68). Kbh.: Hans Reitzel.

Kursets case

Hjelmar, Ulf; Hans Skov Kloppenborg og Patricia Thor Larsen (2016): Styrkelse af værestedernes rolle i den sociale indsats i kommunerne. En evaluering af erfaringer fra tre kommuner med en samarbejdsmodel. København: KORA.

Link til rapport: https://kora.dk/media/6243248/vaerestedsrapport_10834.pdf

Kolodziejczyk, Christophe og Jacob Nielsen Arendt (2017): Effekter af to jobpræmieordninger for ledige. København: KORA.

Link: https://kora.dk/media/6844189/10918-effekter-af-to-jobpraemieordninger.pdf

Holdundervisning og gruppearbejde:

Kort præsentation af de studerendes erfaringer med evaluering. Diskussion af evaluering i politisk, administrativt og sociologisk perspektiv.

Gruppeopgave 1:

Ud fra en overordnet gennemgang af ”kursets case” skal I diskutere evalueringens karakteristika i forhold til evalueringsbegrebet. Forbered et kort oplæg om jeres vigtigste diskussionsemne til næste holdundervisning.

2. kursusgang

Forelæsning: Faser og elementer i gennemførelse af evalueringer.

Forelæser gennemgår forskellige faser i evaluering, som evaluator med fordel kan tage stilling til ved planlægningen af en evaluering eller kan anvendes ved læsning og vurderinger af evalueringsrapporter.

Pensum:

Rieper, Olaf (red) (2004): Håndbog i evaluering, s 34-49. AKF Forlaget.

Dahler-Larsen, P. (2016). Politik og evaluering. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 169-191). Kbh.: Hans Reitzel.

Hanne, F. H. (2016). Evalueringsstyring. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 95-114). Kbh.: Hans Reitzel.

Hansen, M. B. (2016). Performance management og evaluering. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 115-144). Kbh.: Hans Reitzel.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.                

Grupperne besvarer opgave 1.

Gruppeopgave 2:

Efter en nærmere gennemlæsning af ”kursets case” er opgaven diskutere evalueringen både i et kritisk og et konstruktivt perspektiv. Forbered et kort oplæg om jeres vigtigste diskussioner af hvert perspektiv til næste holdundervisning.

3. kursusgang

Forelæsning : Evalueringsmodeller med særlig fokus på effektevaluering.

Evalueringslandskabet er fyldt med forskellige begreber om forskellige typer evalueringer. Hvad enten man skal gennemføre evalueringer, bestille evalueringer eller læse og fortolke evalueringer er det nødvendigt at have kendskab til de forskellige evalueringsmodeller der findes.

Gæsteforelæsning

Pensum:

Drejer, I., & Nielsen, K. (2016). Økonomiske evalueringer. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 307-330). Kbh.: Hans Reitzel.

Bredgaard, T., Drejer, I., & Nielsen, K. (2016). Målopfyldelsesevaluering og effektevaluering. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 283-306). Kbh.: Hans Reitzel.

Baadsgaard, K. (2016). Responsiv evaluering. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 217-240). Kbh.: Hans Reitzel.

Bjørnholt, B., & Vedung, E. (2016). Brugerevaluering. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 263-282). Kbh.: Hans Reitzel.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 2

Gruppeopgave 3:

Søg efter evalueringsrapporter på hjemmesiderne www.vive.dk, www.eva.dk og www.aau.dk.

Find og udvælg én evaluering, der anvender forskellige evalueringsmodeller. Forbered et kort oplæg om jeres observationer og et spørgsmål. De indlæg om observationer skal formidle jeres erfaringer med dels at søge efter evalueringer og dels den udvalgte evaluerings brug af evalueringsmodeller. Spørgsmålet skal være det vigtigste I gerne vil diskutere i forhold til evalueringsmodeller.

4. kursusgang

Forelæsning: Programteori i evalueringer.  

Denne kursusgang går tættere på teoretisk evaluering – hvad er programteori og hvorfor skal man vælge den tilgang?

Gæsteforelæsning

Pensum:

Pawson, Ray and Nick Tilley (2004): Realistic Evaluation p. 92-123. Sage Publications.

Bredgaard, T., Salado-Rasmussen, J., & Mia Sieling-Monas, S. (2016). Virkningsevaluering. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 332-366). Kbh.: Hans Reitzel.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 3.

Mundtlig midtvejsevaluering.

Gruppeopgave 4:

Grupperne får udleveret et aktuelt eksempel på et udbud til en evaluering, der udgør grundlaget for en realistisk øvelse i at læse, analysere og besvare et udbud af en evalueringsopgave.

Grupperne skal forberede sig på at kunne agere i en af rollerne som:

1) evaluator, der fremlægger sit tilbud for udbyderen (den organisation, der ønsker at få evalueringen gennemført og finansiere den) eller

2) rekvirent, der skal vælge det bedste blandt de fremlagte tilbud.

5. kursusgang

Forelæsning: Evaluering og evidens.

Evidensbegrebet og evidensbestræbelser fylder stadig mere i relation til evaluering. Hvad betyder eksempelvis følgende mål for udbud, gennemførelse og anvendelse af evalueringer:

1) Omhyggelig, udtrykkelig og kritisk brug af den aktuelt bedste viden og

2) evidensbaseret praksis og politik.

Pensum:

Baadsgaard, K., & Krogstrup, H. K. (2016). Metaanalyser og evidens. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 69-94). Kbh.: Hans Reitzel.

Hammersley, Martyn (2005): Is the evidence-based practice movement doing more good than harm? Reflections on Ian Chalmers` case for research-based policy making and practice. In Evidence & Policy vol. 1.1, p. 85-100.

Chalmers, Ian (2005): If evidence-informed policy works in practice, does it matter if it doesn´t work in theory? In Evidence & Policy vol. 1.2, s. 227-42.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 4 gennem rollespil

Gruppeopgave 5:

Grupperne får udleveret et tilbud på en evaluering, der skal vurderes ud fra de mest relevante evalueringskriterier. Forbered et oplæg om jeres vurdering med fokus på de tre vigtigste evalueringskriterier.

6. kursusgang

Forelæsning: Proces- og formativ evaluering – med fokus på hvorfor, hvornår og hvordan?

Der sættes fokus på procesevalueringer og forskellige former heraf og spørgsmålene: Hvordan kan marginale synspunkter eller marginaliserede aktører blive hørt i evalueringer? og hvad er relationel evaluering?

Gæsteforelæsning

Pensum:

Rasmussen, A., & Rasmussen, P. (2016). Procesevaluering. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 241-262). Kbh.: Hans Reitzel.

Greene, Jennifer C. (2006): Evaluation, Democracy and Social Change. In Jenifer Green et.al (2006) The Sage Handbook of Evaluation, p. 118-139. Sage Publications.

Koivisto, Juha (2008): Relational Evaluation in Social Work Practice. In Inge Bryderup (2008): Evidence Based and Knowledge Based Social Work, p. 103-114. Danish School of Education. Aarhus University Press.

Hansson, Finn, Theresa Norn, Maria Orben Bundgaard Vad (2014): Modernize the public sector through innovation? A challenge for the role of applied social science and evaluation, p. 244-260. Evaluation.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 5.

Gruppeopgave 6:

Opgaven er individuel og tager udgangspunkt i et udbud fra Socialstyrelsen, der udleveres på kurset.

Følgende to spørgsmål ønskes besvaret med én sætning, ud fra tre perspektiver, henholdsvis samfundsforskerens, evaluators og socialstyrelsens:

a) Hvad finder du mest interessant i udbuddet?

b) Hvor ser du den største udfordring i udbuddet?

7. kursusgang

Forelæsning: Kvalitetsvurderinger af evalueringer og anvendelse af evalueringer.

Hvordan vurderer man om en evaluering har god kvalitet?  De studerende introduceres til summative såvel som formative måder at kvalitetssikre evalueringer på ud fra eksplicitte vurderingskriterier og relevante kvalitetsniveauer i evaluering.

Pensum:

Dahler-Larsen, P. (2016). Evalueringsanvendelse. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 195-214). Kbh.: Hans Reitzel.

Larsen, F. L. (2016). Den politiske evalueringsanvendelse af resultatstyring. In T. Bredgaard (Ed.), Evaluering af offentlig politik og administration (pp. 145-168). Kbh.: Hans Reitzel.

Fitzpatrick, Jody L., James R. Sanders and Blaine R. Worthen (2004): Evaluating Evaluations. In Fitzpatrick, Jody L., James R. Sanders and Blaine R. Worthen (2004): Program Evaluation. Alternative Approaches and Practical Guidelines, p. 442-460. Pearson Education, Inc.

Weiss, Carol H. (2005): Have We Learned Anything New About the Use of Evaluation? In American Journal of Evaluation, Vol. 19, No. I, 1998, p. 21-33.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 6.

Evaluering af kursus.

Udlevering af eksamensopgave og spørgerunde med afklarende spørgsmål til eksamensopgaven.

Opgaver skal uploades i Digital eksamen senest kl. 12.00 på afleveringsdatoen.