Tal-till-text med Augmented Reality för Personer med Nedsatt Hörsel

Viktiga resultat som projektet gav

Avsikten med projektet var att studera visuella, optiska och ergonomiska förutsättningar för ett tal-till-text-system som med hjälp av Augmented Reality (eng: ” Speech-to-Text System using Augmented Reality”, förkortat STAR) presenterar text för personer med nedsatt hörsel. Projektets syfte och mål har till stor del uppfyllts, men fortsatt teknisk utveckling av en demonstrator är planerad, samt breddning mot andra sensoriska nedsättningar t.ex. av syn.

Långsiktiga effekter som förväntas

1. Visat hur läslighet och läsbarhet kan studeras i AR och VR. 2. Gett anvisning om utformning av typsnitt för AR. 3. Studerat visuellt sökbeteende i AR. 4. Gett anvisning på utformning av textpresentation i VR-miljö. 5. Visat på eventuella samband mellan ögonrörelser och presentation av text i VR. 6. Studerat hur ögats sökbeteende kan ske i VR. 7. Visat hur ett framtida STAR-glasögon för hörselskadade kan utformas. 8. Uppmätt luminans och kontrast i AR-glasögon. 9. Väsentliga komponenter till en demonstrator införskaffade. 10. Marknadsstudie om tal-till-text-system genomförd.

Upplägg och genomförande

Omprioriteringar och improvisationer var nödvändiga pga Pandemin. Optiskt lab inreddes i garderob hos en medarbetare. Användarstudier genomfördes i en lokal i Uppsala avsedd för studenter och i en lägenhet. Hörselskadade kunde inte användas som försökspersoner så normalhörande fick användas istället. Tester i AR utfördes på testpersoner med olika läsuppgifter. Läslighet mättes i VR-glasögon tillsammans med ögonrörelser. Många viktiga resultat har uppnåtts, även om alla mål inte uppfylldes. En bra grund för framtagande av en demonstrator har därför skapats.

Externa länkar

Projektpresentationssida