KTH / Nada / Utbildning / Kurser / 2D1408

2D1408 Utvärderingsmetoder i MDI VT 2005

Kursutvärdering 2005

Kursdata

Kursledare: Kai-Mikael Jää-Aro
Föreläsare/övningsledare: Pär Bäckström, Olle Bälter, Kai-Mikael Jää-Aro, Sandra Pousette, Patrik Rydberg.

Undervisningstimmar: 6 * 2 h föreläsning, 3 * 2 h studiebesök/demonstration, 2 h litteraturseminarium, 2 * 2 h projektredovisning.

Antal registrerade studenter: 23.

Kurslitteratur:
Handbook of Usability Testing av Jeffrey Rubin, Wiley, 1994
"Quantification", kapitel 4 i The Humane Interface av Jef Raskin, Addison-Wesley, 2000
"The Cognitive Walkthrough Method: A Practioner's Guide" av Cathleen Wharton, John Rieman, Clayton Lewis och Peter Polson, kapitel 5 i Usability Inspection Methods, red Jakob Nielsen och Robert L. Mack, Wiley, 1994
"The Usability of Open Source Software" av David M. Nichols och Michael B. Twidale, i First Monday, (8) 1, 2003
"Invest in IT but don't forget the organisation", av Pekka Reijonen och Jukka Heikkilä, TUCS, 2000

Kursen examineras genom ett projekt (INL1) som redovisas med en rapport och muntlig redovisning vid två tillfällen. Studentprestationerna är 19 godkända (83%). Övriga fyra får antas ha hoppat av kursen.

Kursmål

Kursens mål är att presentera olika metoder för användbarhetsutvärdering, att praktiskt genomföra en utvärdering av något datorbaserat system och presentera ett omkonstruktionsförslag för systemet baserat på utvärderingsresultaten.

Kursutvärdering

Kursen utvärderades genom samtal med studenterna vid två tillfällen, vilket omfattade totalt 18 studenter. Nedan följer en kommenterad sammanfattning av svaren:

Kursen föreföll inte ha uppfattats som svår, snarare tvärtom. Många studenter ansåg att den snarast var en repetition av vad som gåtts igenom på tidigare kurser. Detta är något av ett problem och en tydligare profilering av kursen måste göras, dock ännu oklart hur.

Kursboken var genomgående uppskattad. Åtskilliga studenter uttalade också sin uppskattning för boken Interaction Design av Preece, Rogers och Sharp, som använts som kursbok på Människa-dator-interaktionskursen och vilken i princip alla studenter använt som bredvidläsningsmaterial även på denna kurs. De bredvidläsningsartiklar som delats ut var det i praktiken ingen som läst. Min fråga huruvida man skulle kunna lägga till The Humane Interface som extra kursbok mottogs med tvekan, men inte heller direkt negativt.

Studenterna var delade i frågan huruvida det var bra eller inte att kursen gick över två perioder. Däremot var det uppenbart att fördelningen över tid av föreläsningar inte hade varit bra, men detta är redan åtgärdat i schemaläggningen för nästa läsår. Studenterna konstaterade att de läste tre till fyra kurser parallellt vilka alla examinerades med projekt, vilket gjorde det tämligen hektiskt mot slutet. Såtillvida var det snarast bra att ha gott om tid på sig att planera in sina studier.

Användbarhetslabbet hade varit något av ett problem, delar av hårdvaran var trasiga under en längre period men framförallt hade alldeles för ofta en grupp studenter från någon annan kurs, någon tekniker eller någon forskare modifierat uppställningen så att givna instruktioner inte längre stämde överens med verkligheten. Learning Labs inställning var att labbet var till för dem och Mediateknik för att experimentera med hårdvara och var tämligen ointresserade av de problem detta orsakade för andra. Vid kontroll visar det sig att det inte finns något skriftligt avtal mellan NADA och Learning Lab om vem som ''äger'' labbet och hur uppställningen ska se ut. Detta måste åtgärdas snarast. Lämpligen bör det finnas en standardinstallation till vilken labbet alltid ska återställas om någon har experimenterat med uppställningen. (Detta skulle ytterligare understödjas av mer utnyttjande av labbet från MDI-gruppens sida.)

I projektet ingick att definiera hur utvärderingen skulle genomföras. Dessa definitioner fick endast skriftlig återkoppling. Några studenter förslog möten med läraren för att diskutera upplägget, men det känns om om det vore ett effektivare alternativ med presentationer i grupp där man har tillfälle att diskutera problem som är gemensamma för flera grupper och där de olika grupperna kan inspirera varandra.

Den slutliga redovisningen var uppdelad i två delar: en där gruppen skulle presentera föreslagna förändringar av det utvärderade systemet och en där de skulle gå igenom sin egen utvärdering och reflektera över genomförande och hur det hade kunnat göras bättre. Ungefär hälften av studenterna tyckte att det var en bra ordning, andra hälften hade hellre tagit det i motsatt ordning. Däremot sågs det som bra av alla att ha opposition på rapporterna för att låta fler läsa igenom dem. Detta är lätt genomfört och bör göras till nästa år.

En fråga som dök upp var huruvida skolan skulle kunna hjälpa till med att hitta försökspersoner till undersökningarna. Det är inte uppenbart att detta skulle vara till fördel, utan man kanske snarare skulle ställa högre krav på att studenterna ska rekrytera försökspersoner utanför sin närmaste bekantskapskrets – flera grupper lyckades ju faktiskt med det inom kursens ram.

Det litteraturseminarium som hölls uppfattades som acceptabelt bra. "En bra anledning att läsa igenom extralitteraturen." som någon uttryckte sig. Däremot var två timmar lite för kort tid för att alla skulle hinna säga sin mening. Det vore därför en möjlighet att ha flera litteraturseminarier i mindre grupper, för att täcka ett större område och ge fler chansen att uttala sig.

Av det material som togs upp på föreläsningar föreslogs att utvärdering baserat på användarmodeller skulle ägnas mer tid åt, t ex genom att ägna en övning åt att gå igenom ett exempel i detalj. Några uttryckte också önskemål om att få fler föreläsningar av personer ute i Verkligheten för att få veta hur användbarhetsutvärdering användes i praktiken. Detta borde gå att ordna, även om det idag finns restriktioner på externa föreläsare.

Även om det var relativt få som haft tillfälle att gå på dem, sågs det som positivt att jag annonserat ut STIMDI-möten till studenterna och det uttrycktes önskemål om att dessa skulle annonseras ut till alla på MDI-inriktningen och -magisterprogrammet.

Studenterna klagade över att kursen var en smula oorganiserad och uttryckte starka önskemål om att föreläsnings-OH ska delas ut i samband med föreläsningen och inte efteråt. Detta borde inte vara alltför svårt att åstadkomma under kommande läsår nu när materialet är producerat.

Övningarna i användbarhetslabbet var en smula kaotiska och bör organiseras bättre så att det inte blir så mycket longörer för dem som inte får plats inne i mixerrummet. Presentation av Tobii Eyetracker kan lämpligen genomföras vid samma tillfälle.

Webbsidan och mailkontakten uppges ha fungerat mycket väl.