KTH / Nada / Utbildning / Kurser / 2D1408

2D1408 Utvärderingsmetoder i MDI, VT2006

 

Utvärderingsmetoder från seminariet

 

Distribuerad formativ användbarhetsutvärdering

Många användbarhetsutvärderingar utförs i en laboratoriemiljö som kräver att testpersonerna måste flytta sig till en viss plats och till en miljö som dåligt efterliknar den miljö användaren normalt vistas i. Att vara bunden till en särskild plats innebär också en ofrivillig begränsning av möjliga rekryteringsobjekt och leder gärna till en alltför homogen grupp testpersoner eller att samma personer används alltför ofta.

Ett alternativ till denna platsbundna utvärdering är att utnyttja de allt snabbare och mer tillförlitliga bredbandsuppkopplingar som finns i stort sett överallt. Internet som en förlängning av användbarhetslaboratoriet. Det ger möjlighet till bredare urvalsgrupper och att tester kan utföras i samma miljö som den användaren kommer vistas i vid användandet av slutprodukten.

Det finns flera möjligheter med denna metod och de flesta lämpar sig bäst för formativ utvärdering. Den som är mest rättfram är att ta kontroll över användarens dator. Lokalt på en skärm i användbarhetslabbet syns i realtid vad användaren, som befinner sig långt bort, gör. Man kan exempelvis filma vad som händer för senare analys eller göra en direkt observation. Ljud kan tas upp via telefon eller en diskret mikrofon hos användaren.

Ett sätt att överhuvudtaget undvika att störa användaren i sitt normala arbete är att logga vissa parametrar och automatiskt skicka dessa via Internet till användbarhetslaboratoriet.

En annan möjlighet är att utöka en lokal utvärdering via video mellan två intilliggande rum till en global utvärdering mellan två rum på helt olika platser. Resultatet blir det samma som om utvärderingen skett lokalt, men med alla de fördelar med distribuerad utvärdering som nämnts ovan.

Texten bygger i sin helhet på:

Hartson, Castillo, Kelso, Neale. Remote Evaluation: The Network as an Extension of the Usability Laboratory, i Proceedings of the SIGCHI conference on Human factors in computing systems: common ground (Vancouver, British Columbia, Canada, 16-18 april), 1996, 228-235.

 

Utvärdering av IT-system

För att utvärdera ett IT-system om det är handlingsbart förespråkar Cronholm & Goldkuhl (2003) sex olika tillvägagångssätt som kombineras av tre strategier för hur att utvärdera och två strategier för vad som utvärderas.

De tre strategierna för hur att utvärdera IT-system beskrivs som:

· Målbaserad utvärdering

· Målfri utvärdering

· Kriteriebaserad utvärdering

Skillnaden mellan de tre beror på vad som fokuseras i utvärderingen där den målbaserade utgår från de mål som finns i organisationen som utvärderingen sker i och målen används för att värdera IT-systemet. Med målfri utvärdering menas att inga specifika mål används utan den är mer explorativ och inga mål eller kriterier används för värderingen av IT-systemet. Vid kriteriebaserad utvärdering ställs ett antal kriterier upp som används som måttstock för IT-systemet (Cronholm & Goldkuhl, 2003).

De två strategierna för vad som ska utvärderas är, enligt Cronholm & Goldkuhl (2003), IT-systemet som sådant och IT-systemet i användning.

· IT-systemet som sådant

· IT-systemet i användning

Hur utvärderingen går till beror på vad som utvärderas och vilken hur-strategi som valts, alla kombinationer är möjliga vilket ger sex olika typer av utvärdering där jag följande tar upp två av dessa kombinationer

· Målbaserad utvärdering av IT-systemet i användning

· Kriteriebaserad utvärdering av IT-systemet i användning

De kriterier som jag har utgått ifrån och använt praktiskt i två olika utvärderingar av system (Servicedesk och dess ärendehanteringssystem och branschsystem). Finns på denna länk:  http://www.vits.org/publikationer/dokument/344.pdf

Mer information om metoden finns på forskningsnätverket Vits hemsida: http://www.vits.org/publikationer/dokument/338.pdf

 

Heuristic evaluation

Heuristic evaluation är ett alternativ till användbarhetstester som involverar användaren. Istället för att göra tester med användaren går användbarhetsexperter igenom ett antal på förhand valda kriterier som skall uppfyllas. Metoden utvecklades av dansken Jakob Nielsen och hans kolleger under mitten av 90-talet. Från början listade man 249 användbarhetsproblem som på engelska kallas för heuristics. Några exempel på dem är: visibility of system status, consistency and standards, user control and freedom. Det första uttrycket handlar om att användaren skall vara informerad om vad som händer i ett system. Consistency and standards handlar om att användaren skall känna igen sig och att man använder allmänt vedertagna symboler och metaforer. User control and freedom är hur lätt det är att ta sig ur systemet och navigera i det. Heuristic evaluation görs under tre stadier. I första stadiet får användarexperterna information om vad de skall göra. Andra stadiet går experterna igenom själva gränssnittet/artefakten. Under genomgången skall man ha klart för sig vilka heuristics man tittar efter. I det tredje stadiet sammanfattar man vilka användarproblem som finns vad man skall gör för att förbättra systemet. Fördelen med denna typ av utvärderingsmetod är att den är billig och går snabbt att genomföra. Den största nackdelen borde vara att man lätt förbi ser saker som den egentliga användaren kanske hade upptäckt. Många problem är kanske inte så explicita som var man skall placera en ok knapp i ett interface. När det gäller teknik som används i syfte att hjälpa människor att samarbeta och kommunicera blir använbarhetsbegreppet bredare. Användare kanske inte bara är de som använder själva gränssnittet/artefakten utan även deras kunder, chefer, personal m.m.

 

Cognitive walkthrough

Det är en teknik där expertutvärderare skapar uppgiftsscenarios från en specifikation eller en tidig prototyp för att sedan "rollspela" rollen som den tilltänkta anvädaren. De låtsas att interfacen (artefakten) redan är byggd och de jobbar igenom uppgifterna. Varje steg analyseras noga. Skulle något i interfacen/artefakten hindra eller förirra användaren från att uppnå den önskade uppgiften så indikerar det på att interfacen saknar något.

Det är viktigt att man har en tydlig målgrupp och att man vet vad användarna vill göra med artefakten.

Kognitiva genomgångar används med fördel i det tidiga skedet i utvecklingen då de kan användas med bara systemspecifikationerna som grund.

Det intressanta:

Anledningen till att jag valt denna utvärderingsmetod är för att det slog mig att en sådan "expertutvärdering" gör vi jämt i början av tekniska projekt. Från när man väl har en idé om en teknisk artefakt så börjar ju omedvetet denna process att köras i skallen. Man föreställer sig vad användaren gör och bygger upp någon slags grov idé om hur interfacet ska se ut. Denna metod borde kanske erkännas lite mer då den kan kännas lite "ovetenskaplig" och ogrundad i början av utvecklingsarbeten. Men visst jag håller med. Den håller inte särskilt bra på egna ben men med fler metoder, med s.k. triangulering så kan en bra informationsgrund fås av flera utvärderingsmetoder.

Källa:

http://jthom.best.vwh.net/usability/

 

GOMS-modeller och Glean

Kieras et al (1) beskriver i sin artikel GLEAN: A Computer-Based Tool for Rapid GOMS Model Usability Evaluation of User Interface Designs sitt arbete med att ta fram ett datorbaserat verktyg för att utföra användbarhetstester av användargränssnitt. De använder sig av GOMS-modeller som är beskrivningar av kunskaper en användare måste ha för att utföra uppgifter i ett system. Till detta kopplar man en beskrivning av en tänkt användare och låter sitt verktyg GLEAN simulera användartester.

Det designern får göra är alltså tre saker:

1. Översätta sitt gränssnitt till GOMS-modeller

2. Implementera en tänkt användare

3. Specificera uppgifter för användaren

Som output ges svar på om den tänkta användaren klarade av uppgifterna och hur effektivt detta i så fall var.

Styrkor: Procedurella aspekter kan utvärderas snabbt och enkelt innan man går vidare till dyra och tidskrävande användartester. Spar mycket tid vid tester av komplexa system.

Svagheter: Kan inte ta hänsyn till kontext, användarsituationer eller långsiktiga mål. Ineffektivt vid mindre projekt.

Exempel på GOMS-metoder (Kieras et al 1995)

Method for goal : Delete (file)

Step 1. Accomplish goal : Drag (file) to ( ‘ trash’ )

Step 2. Return with goal accomplished.

Method for goal : Drag ( source) to (destination)

Step 1. Find object whose label is source and store its locatlon under source position.

Step 2. Decide: If hand is not at mouse then home to mouse.

Step 3. Point to source position.

Step 4. Hold down mouse button.

Step 5. Find object whose label is destination and store its location under destination position.

Step 6. Point to destination position.

Step 7. Release mouse button.

Step 8. Delete source position, delete destina~ion position.

Step 9. Return with goal accomplished.

Referenser

(1) Kieras, Wood, Abotel, Hornof 1995, GLEAN: A Computer-Based Tool for Rapid GOMS Model Usability Evaluation of User Interface Designs.

 

Utvärderingsmetod : GOMS

GOMS står för Goals (mål), Operators (operatorer), Methods (metoder) och Selection rules (urvalsregler). GOMS utgör en grupp modelleringstekniker som analyserar användar-omplexiteten i interaktiva system. En GOMS-modell består av metoder som krävs för att nå ett mål, till exempel "gör en utskrift". För att göra detta används olika operatorer, som till exempel "klicka med höger musknapp" etc. och vid valsituationer tillämpas urvalsregler.

GOMS kan användas för att se vilka metoder en användare tar till för att nå vissa välkända mål, men kan också användas för att klocka hur lång til uppgifter tar att utföra. Det finns olika varianter av GOMS: "Keystroke-Level Model-GOMS", den allra enklaste varianten, "Card, Morn, and Newell-GOMS" den första GOMS-varianten och "Natural GOMS Language" som är en metod där man reducerat bort några nackdelar hos CMN-GOMS..

En nackdel med GOMS generellt är att den endast fungerar för expertanvändare som inte gör några misstag. Dessutom mäter metooden inte hur användbart eller hur trevligt utvärderingsobjektet är att använda. Den utgår också från att vi människor alltid löser frågor en efter en och inte behandlar flera paralellt, något som skiljer sig en del från dagens kognitionsforskning.

 

Utvärderingsmetoder – Tänka högt

Jag har valt att skriva om metoden "Tänka högt" vilket verkar vara en populär metod för utvärdering av användbarhet. Jag är medveten om att den finns beskriven i boken med det gjorde det mesta som jag hittade på nätet.

"Tänka högt" går ut på att man skapar ett scenario som en försöksperson skall utföra och förklarar att denne skall berätta vad han/hon tänker och känner under tiden som uppgiften utförs.

Genom att använda denna metod får man en god förståelse för användarens eventuella problem både genom att man får höra dennes tankar men även genom att man observerar interaktionen med systemet. Man får t ex reda på om olika steg i navigeringen uppfattas som onaturliga mot vad användaren förväntat sig. Tänka högt metoden innebär också att man får svar på om vald terminologi känns naturlig för användaren.

Jag valde denna metod för att den ger god förståelse för användarens eventuella problem och är användbar i alla olika faser att ett systemutvecklingsprojekt. Den känns som en variant av en kontextuell intervju då man både observerar användaren i arbete samtidigt som man får reda på vad denne tycker och känner inför systemet. Dessutom har man möjlighet att ställa följdfrågor om varför användaren uppfattat systemet på ett visst sätt då metoden utförs i realtid. Eventuella nackdelar med metoden kan nog vara att det kan kännas lite krystat för användaren att tänk högt och att användnings-situationen kan kännas lite onormal när någon sitter och iakttar.

 

Heuristisk utvärdering

En liten grupp (två eller tre) experter på användbarhet, helst med erfarenheter av design och utveckling av användargränssnitt, får göra en utvärdering av en produkt utifrån ett antal uppställda designkriterier, regler för användbarhet, checklistor och guidelines. Experterna ska vara väl införstådda i de tänkta användarnas situation, bakgrund, kunskaper, miljö etc. Bäst resultat uppnås om experterna gör utvärderingen var för sig, för att sedan i grupp sammansställa resultaten och komma fram till förbättringar som kan göras i användargränssnittet.

Exempel på designkriterier:

- Använd enkel och naturlig dialog, tala användarens språk, minimera användarens minnesbelastning, vara konsekvent, ge feedback m.m.

- Systemets uppförande och utseende ska vara konsekvent

- Systemets uppförande och utseende ska vara kompatibelt med användarkonventioner och förväntningar

- Användaren ska få bra feedback om var de befinner sig i systemet

- Systemet ska ha den funktionalitet som användaren behöver för att kunna utföra sina uppgifter på ett tillfredsställande sätt

- Hjälp och manualer ska fungera på ett tillfredställande sätt

Metoden ger ofta en snabb och relativt billig feedback till utvecklarna på vad som kan förbättras i användargränsnittet. Metoden kan användas under hela utvecklingsarbetet, men med fördel innan vidare användarstudier genomförs, då utvärderingsmetoden kan eliminera många användbarhetsproblem såsom färgval, layout, informationens struktur, konsekvens av interaktionsmekanismen m.m. Man får då en större chans att hitta problem av annan karaktär vid användarstudier.

 

Co-discovery Learning

Metoden går ut på att para ihop testpersonerna två och två för att därefter låta dem lösa en uppgift med hjälp av systemet som ska utvärderas. Syftet med att låta dem arbeta i grupper om två är att detta skapar förutsättningar för dialog och därmed får testpersonerna att vädra sina tankar högt på ett sätt som känns mer naturligt än i think aloud-metoden, där man bara ber en användare att _säga vad han tänker_ medan han testar systemet. Hela processen spelas in och/eller övervakas av en testledare.

En klar fördel med metoden är alltså att man får veta hur användaren faktiskt tänker, och varför han gör de val (och de misstag) som han gör. Bäst resultat får man om testpersonerna känner varandra, så att samarbetet inte störs av att de känner sig obekväma med att arbeta tillsammans.

Co-discovery learning är inte den mest kostnadseffektiva metod man kan tänka sig, eftersom det krävs två användare till varje test, och dessutom någon som övervakar dem eller tittar på banden i efterhand. Metoden i sig ger inte upphov till några kvantitativa data.

Källa: http://www.usabilityhome.com/Codiscov.htm

 

Etnografisk metod

Den metod som jag skall beskriva är den etnografiska metoden vid studiet av informationstekniska artefakter. Författarna Rose, A; Shneiderman,B och Plaisant, C tar i sin artikeln An applied etnographic method for redesigning user interfaces just upp etnografisk metod kopplat till informationssystem som studieobjekt.

Metoden är baserad på klassik etnografisk forskning, där en etnograf öppet eller dolt deltar i människors dagliga liv. Etnografen deltar under en period, ser på vad som händer, lyssnar och iakttar vad som sägs och ställer relevanta frågor.

Rose, A; Shneiderman,B och Plaisant, C menar att det är svårt att observera ett studieobjekt, felet många ofta gör är att det misstolkar datat och överser viktig relevant information. Författarna säger att man måste ha en relevant forskningsplan eller ramverk för att strukturera arbetsprocessen. De listar fyra huvudpunkter.

Första punkten handlar om att göra noga förberedelser

· Förstå sig på organisationens policy, regelverk, styrdokument och företagskultur.

· Bli familjär med själva systemet och dess förhistoria.

· Sätt mål/syfte på det du skall fokusera på, förbered frågor som är kopplade till dessa.

· Få tillstånd att observera/intervjua

Andra punkten handlar om själva fältstudien. Där författarna nämner

· Observera och intervjua användare i deras arbetsmiljö och samla subjektiv/objektiv kvalitativ/kvantitativ data.

· Följ upp trådar som uppkommer vid mötet med människorna och organisationen.

· Registrera/Spela in dina besök.

Det tredje handlar om att analys av data.

· Samla ihop, skriv ut och sortera data i numeriska och textmässiga databaser

· Ta bort onödigt data och ta med relevant data

Fjärde punkten handlar om rapportering

· Tänk att målgruppen är bred, rapportera så att alla förstår.

· Exemplifiera gärna i händelser eller anekdoter.

· Presentera det på ett begripligt och överskådligt sätt.

Jag ser poänger med en etnografisk ansats inte minst med det breda insamlingen av data, men här gäller det verkligen att man redan från början vet vad som skall observeras. Att det finns ett klart syfte från början som är ledstjärnan under hela arbetets gång.

 

Pluralistic Walkthrough

En inspektionsutvärderingsmetod1 där olika grupper av intressenter samlas för att utvärdera designen, inklusive GUI designers, användare, utvecklare och ledningen. Genomgång genomförs först genom en identifiering av primära systemuppgifter och sedan följer en steg-för-steg granskning för att urskilja användbarhetsproblem. Syftet med att samla ihop olika intressenter är att varje deltagare kan belysa designen från sitt eget perspektiv och utifrån sin egen expertis samt sätta mål för projektet som påvisar områden där användbarhetsproblem uppstår eller kan uppstå. Oftast behövs en pappersprototyp som diskussionsunderlag för att metoden ska gå att implementera.

Procedur:

Utformning av ett Walkthrough Team2: Tre typer av deltagare ska vara del av ett walkthrough team: representativa användare, produktutvecklare och MDI-specialister. Det krävs en koordinator, som oftast har MDI-bakgrund. Alla deltagare, utom koordinatorn antar användarroller under processen.

Materialet GUI ‘s pappersprototyp är utgångspunkten för att implementera metoden. En viss simulering av interaktion ska finnas med. Dialogerna och menyerna ska presenteras i rätt ordning.

Uppgiftsgenomgång

För varje steg:

  1. • Olika utvalda delar av GUI presenteras för alla deltagare på t.ex. en skärmpanel och deltagarna ombes att detaljerat och in i minsta detalj beskriva hur de använder prototypen – user actions
  2. • Efter det börjar en diskussion mellan användarna så att de ges ett försprång. Bara när användarna har uttömt alla sina synpunkter så ansluter sig övriga deltagare som utvecklare, användbarhetsspecialister etc till diskussionen
  3. • Efter diskussionen meddelar koordinatorn vilka user actions som förväntades från användarna enligt nuvarande GUI design. Sedan presenteras en ny skärmpanel med en ny del av GUI för fortsatt diskussion.

1 Usability First. Usability Glossary. Webbplats. http://www.usabilityfirst.com/glossary/term_493.txl Hämtad 2006-02-06

2 omarbetad från R. Bias "The Pluralistic Usability Walkthrough: Coordinated Empathies: in J. Nielsen & R. Mack "Usability Inspection Methods", Chapter 3, pp.63-76, John Wiley, 1994. Webbplats: http://www.pages.drexel.edu/~zwz22/PlurWalk.htm Hämtad 2006-02-06

 

Dagboks metod

En metod som jag tycker verkar intressant och som jag därför valt att ta upp är dagboks metod, vilket enligt Preece, J., Rogers, R., Sharp, H. (2002) hör till kategorin indirekt observation. Metoden innebär att användare under en viss tidsperiod skriver ned till vad och när de använder det system som ska utvärderas och hur de upplever detta. Information som metoden ger är alltså vad användarna har utfört för uppgifter, när de gjorde dem och vad det tyckte om interaktionen. Jag tycker att den här metoden verkar vara bra för att den kan ge svar på vad användarna använder systemet till och vilka delar som fungerar bra samt mindre bra. Jag tror också att den här metoden kan ge information om problem i ett system som annars lätt kan glömmas bort vid till exempel en intervju eller aldrig uppstå vid en observation eller ett användartest. Jämfört med att följa en användare under en längre period är den här metoden också ganska billig. Svagheten med metoden är självklart att den, om den ska ge bra resultat, kräver att användaren som ingår i undersökningen inte glömmer bort att skriva i dagboken. Även om jag inte upplever att den här utvärderingsmetoden är tillräcklig för att få en heltäckande utvärdering av ett system tror jag att den kan vara intressant som en del i en utvärderingsprocess.

Referens

Preece, J., Rogers, R., Sharp, H. (2002) Interaction Design - Beyond Human-Computer Interaction. John Wiley & Sons