HIVK03042U Systemevaluering og brugerstudier

Årgang 2013/2014
Engelsk titel

Systems evaluation and user studies

Uddannelse
Kandidat i Informationsvidenskab og kulturformidling
Kursusindhold

Modulet omfatter videregående studier i de teoretiske og metodiske aspekter vedrørende evaluering af interaktive informationssystemer i kontekst, idet der lægges vægt på sammenhæng mellem informationsbehov, -situation, relevans og søgeadfærd anskuet ud fra formidlings­processer og de dertil knyttede teknologier. Med udgangspunkt i forskningslitteraturen introducerer modulet modeller for informationsadfærd og informationsinteraktion for at afdække tilgange til evaluering af systemperformance og brugeranvendelse og eksplicit at diskutere metoder til evaluering af interaktive informationssøgesystemer.

Modulet beskæftiger sig endvidere med studier af, og metoder til, folks informationsadfærd mere generelt.  Herved sigter modulet til at kvalificere alle med interesse for informations- og kultur­formidling til selvstændigt at kunne foretage studie og undersøgelser af, hvordan folk også efterspørger og bruger information i en bredere kontekst end blot ved anvendelse af informationssøgesystemer. 

Målbeskrivelser
  • Modulet har til hensigt at give den studerende:

Viden om og forståelse af:

  • forskellige typer af evalueringer og evalueringstilgange,
  • centrale begreber og modeller om informationsadfærd og -søgning/-genfinding og de dermed forbundne processer og funktioner samt metoder til studier af samme.

færdigheder i:

  • at reflektere over centrale modeller og metoder til studier af informationsadfærd og –søgning/-genfinding og de dermed forbundne processer og funktioner,
  • at vurdere egnede metoder, og kombination af disse, til studier/evaluering af systemperformance og informationsadfærd – inklusiv evaluering af interaktive informationssøgesystemer,
  • at identificere og sammenligne centrale evalueringsbegreber og-metoder til systemevaluering og brugerstudier, samt vurdere og validere evalueringsresultater i forhold til givne omstændigheder.

kompetencer i:

  • at opstille/designe undersøgelser til studier/evaluering af systemperformance og informationsadfærd – inklusiv evaluering af interaktive informationssøgesystemer,
  • at gennemføre forskellige typer af systemevalueringer og brugerstudier.

Faglige mål:

Eksaminanden kan

  • redegøre for forskellige typer af evalueringer og evalueringstilgange,
  • vurdere egnede metoder, og kombination af disse, til studier/evaluering af systemperformance og informationsadfærd,
  • selvstændigt gennemføre forskellige typer af systemevalueringer og brugerstudier.
Undervisningsmateriale

Forskningslitteratur primært i form af peer-reviewed forskningsartikler (på engelsk) ca. 1500 sider.

  • Borlund, P. & Schneider, J.W. (2010). Reconsideration of the simulated work task situation: A context tool for evaluation of information retrieval interaction. In: Kelly, D., Turpin, A. & Azzopardi, L. (eds.). Proceedings of the third IIiX Symposium on Information Interaction in Context (IIiX 2010). New Brunswick, NJ, USA, August 2010. 155-164.
  • Borlund, P. (2003a). The concept of relevance in IR. Journal of the American Society for Information Science and Technology, 54(10), 913-925.
  • Byström, K. & Järvelin, K. (1995). Tasks complexity affects information seeking and use. Information Processing & Management, 31(2), 191-213.
  • Kelly, D. (2009). Methods for Evaluating Interactive Information Retrieval Systems with Users. Foundations and Trends in Information Retrieval, 3(1-2), 1-224.
F.eks: Oplæg ved underviser, dialogbaseret holdundervisning, ugeopgaver, gruppearbejde, studenteroplæg.

Undervisningen tilrettelægges sådan at den afvikles intensivt med 2 x 3 u-timer ugentligt. Forløbet afsluttes ultimo marts, hvorefter der er mulighed for at arbejde på eksamensopgaven (fri skriftlig hjemmeopgave). Vejledning i relation til eksamensopgaven finder sted dels som individuel vejledning og dels ved fælles vejledningsseminar. Et centralt element i undervisningen er dialogbaseret holdundervisning, som tager afsæt i løsning og diskussion af ugeopgaver. Ved dialogbaseret undervisning skabes et fortroligt og kollektivt rum for læring, hvor idéer, tanker, meninger og opfattelser af den læste forskningslitteraturs problemstillinger og begreber med afsæt i ugeopgaven fremsættes og diskuteres i fællesskab
  • Kategori
  • Timer
  • Holdundervisning
  • 0
  • I alt
  • 0
Point
15 ECTS
Prøveform
Skriftlig aflevering
Prøven har form af en fri skriftlig hjemmeopgave. Der gives en karakter efter 7-trins skalaen. Modulet bedømmes med intern censur.
Bedømmelsesform
7-trins skala
Censurform
Ingen ekstern censur
Eksamensperiode
Juni 2014
Reeksamen
August 2014
Kriterier for bedømmelse

Karakteren gives i henhold til gradsopfyldelsen af målbeskrivelsen, som beskrevet i karakterskalabekendtgørelsen.

Karakteren 12:
Fremragende præstation, der demonstrerer udtømmende opfyldelse af modulets mål med ingen eller få uvæsentlige mangler.

  • Fremragende præstation, der demonstrer udtømmende opfyldelse af modulets mål med ingen eller få uvæsentlige mangler.
  • Den studerende kan meget sikkert analysere og reflektere over centrale modeller og metoder til studier af informationssøgeadfærd og -søgning, samt forbundne processer og funktioner.
  • Den studerende kan selvstændigt og med stor sikkerhed identificere og sammenligne centrale evalueringsbegreber og -metoder i relation til interaktive informationssøgesystemer, samt vurdere og validere evalueringsresultater i forhold til givne omstændigheder
  • Den studerende kan opstille/designe forsøgsopstillinger til studier/evaluering af informationsadfærd.

Karakteren 7:
God præstation, der demonstrerer opfyldelse af modulets mål med en del mangler.

  • God præstation, der demonstrerer omfattende opfyldelse af modulets mål med en del mangler.
  • Den studerende kan med en vis sikkerhed anvende og reflektere over centrale modeller og metoder til studier af informationssøgeadfærd og -søgning, samt forbundne processer og funktioner.
  • Den studerende kan identificere og sammenligne centrale evalueringsbegreber og -metoder i relation til interaktive informationssøgesystemer, samt med en vis sikkerhed vurdere og validere evalueringsresultater i forhold til givne omstændigheder.
  • Den studerende kan med vekslende sikkerhed opstille/designe forsøgsopstillinger til studier/evaluering af informationsadfærd.

Karakteren 02:
Tilstrækkelig præstation, der demonstrerer den minimalt acceptable grad af opfyldelse af modulets mål.

  • Tilstrækkelig præstation, der demonstrerer den minimalt acceptable grad af opfyldelse af modulets mål.
  • Den studerende kan på basal vis redegøre for modeller og metoder til studier af informationssøgeadfærd og -søgning, samt forbundne processer og funktioner.
  • Den studerende kan demonstrere et basalt kendskab til centrale evalueringsbegreber og -metoder i relation til interaktive informationssøgesystemer, samt på basal vis vurdere og validere evalueringsresultater i forhold til givne omstændigheder
  • Den studerende kan i et begrænset omfang opstille/designe forsøgsopstillinger til studier/evaluering af informationsadfærd.