ASOK15609U Evaluering: Metode, teori og praksis - FORÅR 16

1. kursusgang

Forelæsning:

Introduktion til evalueringsbegrebet og evaluering i samfundsperspektiv. Herunder gennemgang af kursets struktur og præsentation af plan for holdundervisning.

Holdundervisning og gruppearbejde:

Kort præsentation af de studerendes erfaringer med evaluering. Diskussion af evaluering i politisk, administrativt og sociologisk perspektiv.

Gruppeopgave 1:

Ud fra en overordnet gennemgang af ”kursets case” skal I vurdere evalueringen i forhold til evalueringsbegrebet. Forbered et kort oplæg om jeres tre vigtigste vurderinger til næste holdundervisning.

Pensum:

Dahler-Larsen, Peter (2011): The Evaluation Society, chapter 7 The Critique of Evaluation Machines p.183-225. Stanford University Press.

Dahler-Larsen, Peter (2014): Evaluation and NPM – as seen from the perspective of evaluation p. 27-38, Leges.

Kursets case

Troelsen, Jens (red.)(2014): SPACE - rum til fysisk aktivitet. Samlet evaluering af en helhedsorienteret, forebyggende indsats for børn og unge. Odense: Center for Interventionsforskning, Institut for Idræt og Biomekanik, Syddansk Universitet.

Link: http://www.kora.dk/udgivelser/udgivelse/i6186/SPACE---rum-til-fysisk-aktivitet

2. kursusgang

Forelæsning:

Faser og elementer i gennemførelse af evalueringer.

Forelæser gennemgår forskellige faser i evaluering, som evaluator med fordel kan tage stilling til ved planlægningen af en evaluering eller kan anvendes ved læsning og vurderinger af evalueringsrapporter.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.                

Grupperne besvarer opgave 1.

Gruppeopgave 2:

Ved en nærmere gennemlæsning af er opgaven identificer faser og elementer i ”kursets case” og på den baggrund at rejse tre kritikpunkter. Forbered et kort oplæg herom til næste holdundervisning.

Pensum:

Rieper, Olaf (red) (2004): Håndbog i evaluering, s 34-49. AKF Forlaget.

3. kursusgang

Forelæsning:

Evalueringsmodeller med særlig fokus på effektevaluering. 

Evalueringslandskabet er fyldt med forskellige begreber om forskellige typer evalueringer. Hvad enten man skal gennemføre evalueringer, bestille evalueringer eller læse og fortolke evalueringer er det nødvendigt at have kendskab til de forskellige evalueringsmodeller der findes. En gæsteforelæser sætter særligt fokus på effektevaluering.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 2.

Gruppeopgave 3:

Søg efter evalueringsrapporter på hjemmesiderne www.kora.dk , www.sfi.dk  og www.eva.dk.

Find og udvælg én evaluering, der anvender forskellige evalueringsmodeller. Forbered et oplæg med to korte konkluderende indlæg og et spørgsmål. De konkluderende indlæg skal formidle jeres erfaringer med dels at søge efter evalueringer og dels den udvalgte evaluering brug af evalueringsmodeller. Spørgsmålet skal være det vigtigste I gerne vil have besvaret i forhold til evalueringsmodeller.

Pensum:

Bamberger, Michael, Jim Rugh and Linda Mabry (2006): RealWorld Evaluation, p. 194-229. Sage Publications.

Stufflebeam, Daniel (2002): Evaluation Models, p. 7-98. American Evaluation Association.

4. kursusgang

Forelæsning:

Programteori i evalueringer.  

Denne kursusgang går tættere på teoretisk evaluering – hvad er programteori og hvorfor skal man vælge den tilgang?

En gæsteforelæser kommer og fortæller om erfaringerne med evalueringen af ”Kursets case”.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 3.

Mundtlig midtvejsevaluering.

Gruppeopgave 4:

Grupperne får udleveret et aktuelt eksempel på et udbud til en evaluering, der udgør grundlaget for en realistisk øvelse i at læse, analysere og besvare et udbud af en evalueringsopgave.

Grupperne skal forberede sig på at kunne agere i en af rollerne som:

1) evaluator, der fremlægger sit tilbud for udbyderen (den organisation, der ønsker at få evalueringen gennemført og finansiere den) eller

2) rekvirent, der skal vælge det bedste blandt de fremlagte tilbud.

Pensum:

Pawson, Ray and Nick Tilley (2004): Realistic Evaluation p. 92-123. Sage Publications.

Dahler-Larsen, Peter (2004) Virkningsevaluering, I Dahler-Larsen Peter og Hanne Kathrine Krogstrup (2004): Nye veje i evaluering. Håndbog i tre evalueringsmodeller. København, s. 51-79. Academica.

5. kursusgang

Forelæsning:

Proces- og formativ evaluering – med fokus på hvorfor, hvornår og hvordan?

Der sættes fokus på procesevalueringer og forskellige former heraf og spørgsmålene: Hvordan kan marginale synspunkter eller marginaliserede aktører blive hørt i evalueringer? og hvad er relationel evaluering?

I anden forelæsningstime kommer en gæsteforelæser og fortæller om erfaringer og intentioner med at opbygge bl.a. evalueringskapacitet og evalueringskultur i en statslig styrelse.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 4 gennem et rollespil.

Gruppeopgave 5:

Grupperne får udleveret et tilbud på en evaluering, der skal vurderes ud fra de mest relevante evalueringskriterier. Forbered et oplæg om jeres vurdering med fokus på de tre vigtigste evalueringskriterier. 

Pensum:

Greene, Jennifer C. (2006): Evaluation, Democracy and Social Change. In Jenifer Green et.al (2006) The Sage Handbook of Evaluation, p. 118-139. Sage Publications.

Koivisto, Juha (2008): Relational Evaluation in Social Work Practice. In Inge Bryderup (2008): Evidence Based and Knowledge Based Social Work, p. 103-114. Danish School of Education. Aarhus University Press.

Hansson, Finn, Theresa Norn,Maria, orben Bundgaard Vad (2014): Modernize the public sector through innovation? A challenge for the role of applied social science and evaluation, p. 244-260. Evaluation.

6. kursusgang

Forelæsning:

Kvalitetsvurderinger af evalueringer og anvendelse af evalueringer.

Hvordan vurderer man om en evaluering har god kvalitet?  De studerende introduceres til summative såvel som formative måder at kvalitetssikre evalueringer på ud fra eksplicitte vurderingskriterier og relevante kvalitetsniveauer i evaluering.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 5.

Gruppeopgave 6:

Opgaven består i at foretager en kvalitetsvurdering af et udbud af en evaluering. Kvalitetsvurderingen kan bl.a. indeholde en vurdering af evalueringsspørgsmålene, valg af evalueringsmodel, metoder/teori samt anbefalinger og anvendelse. Grupperne skal forberede et oplæg med fokus på de tre vigtigste dele af kvalitetsvurderingen.

Pensum:

Patton, Michael Quinn (2002): Qualitative Research & Evaluation Methods s. 541-588. Sage Publications.

Fitzpatrick, Jody L., James R. Sanders and Blaine R. Worthen (2004): Evaluating Evaluations. In Fitzpatrick, Jody L., James R. Sanders and Blaine R. Worthen (2004): Program Evaluation. Alternative Approaches and Practical Guidelines, p. 442-460. Pearson Education, Inc.

Weiss, Carol H. (2005): Have We Learned Anything New About the Use of Evaluation? In American Journal of Evaluation, Vol. 19, No. I, 1998, p. 21-33.

7. kursusgang

Forelæsning:

Evaluering og evidens.

Evidensbegrebet og evidensbestræbelser fylder stadig mere i relation til evaluering. Hvad betyder eksempelvis følgende mål for udbud, gennemførelse og anvendelse af evalueringer: 1) Omhyggelig, udtrykkelig og kritisk brug af den aktuelt bedste viden og 2) evidensbaseret praksis og politik.

Holdundervisning/gruppearbejde:

Spørgsmål fra de studerende.

Grupperne besvarer opgave 6.

Evaluering af kursus.

Udlevering af eksamensopgave og spørgerunde med afklarende spørgsmål til eksamensopgaven.

Pensum:

Vedung (2012). Four Waves of Evaluation Diffusion in Evaluation.

Link: http://evi.sagepub.com/content/16/3/263.full.pdf+html

Hammersley, Martyn (2005): Is the evidence-based practice movement doing more good than harm? Reflections on Ian Chalmers` case for research-based policy making and practice. In Evidence & Policy vol. 1.1, p. 85-100.

Chalmers, Ian (2005): If evidence-informed policy works in practice, does it matter if it doesn´t work in theory? In Evidence & Policy vol. 1.2, s. 227-42.