SignAI

Diarienummer 2017-00686
Koordinator DEVMITO AB
Bidrag från Vinnova 300 000 kronor
Projektets löptid mars 2017 - oktober 2017
Status Genomfört
Utlysning Innovativa startups
Ansökningsomgång Innovativa startups steg 1 - vår 2017

Syfte och mål

Målet är att tillhandahålla en teknologi som gör det möjligt att "filma" en person som använder tecken som stöd och få detta översatt och uppläst via sin telefon i realtid. Utmaningar har identifierats som behöver utforskas och lösas innan en marknadsmässig applikation kan realiseras. Mjukvara för hand- och ansiktsspårning togs fram, men den behöver anpassas för att köras på mobiltelefoner. Algoritmer för snabb identifiering och översättning av arm- och ansiktsrörelser till tecken behöver utvecklas.

Resultat och förväntade effekter

Vi har identifierat utmaningar för automatisk tolkning av tecken från det svenska teckenspråket. Händernas rörelser och ansiktsuttryck måste avläsas simultant. Om händerna hålls framför ansiktet försvåras avläsning. Existerande algoritmer behöver modifieras pga regionella variationer och teckens manuella likheter. "Proof of concept"-mjukvaran kan läsa av ansiktsuttryck, händer och armars form och rörelse med en vanlig webbkamera. Nästa steg är att mobilanpassa mjukvaran och utveckla maskininlärning för anpassning till fler länders teckenspråk.

Upplägg och genomförande

Projektet är utformat som ett uppstarts- och initieringsprojekt med mål att skapa samverkan mellan RISE instituten och Devimito, samt för att utforska förutsättningarna att med hjälp av teknologi inom maskinlärande, neurala nätverk och bildanalys möjliggöra realtidstranskribering av teckenspråk i smartphones. Workshops, möten, litteratur- och teknikstudier samt en proof-of-concept implementation har genomförts under våren 2017 med lovande resultat. Projektet har även kompletterats med en kundundersökning som visade på ett intresse och behov från marknaden.

Externa länkar

SignAI

Texten på denna sida har projektgruppen själv formulerat och innehållet är ej granskat av våra redaktörer.