Bartek Tatkowski

iBall: Ögonstyrning i grafiska gränssnitt idag och i framtiden

En fallstudie i Windows XP

Sammanfattning

Ögonspårning är en teknik som tillåter att man spelar in var på en yta, exempelvis en datorskärm, en användare tittar. Denna information kan sedan användas för att antingen analysera var och hur användaren tittade under användingen av ett program, men den kan även användas för att styra en dator i realtid.

Tobii Technology AB tillverkar skärmar med inbyggd ögonspårning och ville undersöka huruvida denna teknologi kan användas för att styra Microsoft Windows XP. Examensjobbet gick ut på att utveckla och utvärdera olika interaktionsmetoder baserade på ögonspårning i Windows XP-miljö, samt hurvida det är ett lämpligt substitut för datormusen. En prototyp, kallad iBall, utvecklades med hjälp av en agil metodik och användes för att testa olika interaktionsmetoder i en skarp Windows XP miljö.

Även om mycket framsteg gjordes och protoypen i sin slutgiltiga version tillät användaren att i princip fullständigt kontrollera Windowsmiljön finns det dock tre stora hinder för att ögonspårning ska kunna ersätta datormusen: ögonspårning är inte analog med musstyrning, det går inte att överlagra selektion på vad som i grunden är ett sinnesorgan; användarna är för vana vid musstyrning och mycket mer effektiva med den än ögonstyrning; Windows XP och program som körs i den miljön förväntar sig att vara muskontrollerade vilket gör att antaganden som gjorts i interaktionmetoderna ibland fallerar.

Abstract

iBall: Gaze controlled interaction today and tomorrow

A case study in Windows XP

Eyetracking is a technology that allows one to record where on a surface, like a computer screen, a user looks. This gaze data can be used to analyze where and how the user looked while using a program, but can also be used to control a computer in real time.

Tobii Technology AB manufactures computer screens with built-in eyetracking devices, and wanted to investigate if this technology could be used to control Microsoft Windows XP. This master thesis attempts to develop and evaluate different interaction methods based on eyetracking in a Windows XP environment. A prototype, called iBall, was developed to test these methods in a real live setting.

Even if a lot of progress was made and the final version of the prototype allowed the user to more or less completly control the Windows environment, three major obstacles that stand in the way of eyetracking replacing the mouse. They are: eyetracking isn’t analogous with mouse control, you can’t easily impose selection on what is primarliy an input sense; the user base is extremly accustomed to controling their computer with a mouse; Windows XP and the programs that run on it expect to be mouse controlled, meaning that assumptions made in the interaction methods fail.