SignAI
| Diarienummer | |
| Koordinator | DEVMITO AB |
| Bidrag från Vinnova | 300 000 kronor |
| Projektets löptid | mars 2017 - oktober 2017 |
| Status | Avslutat |
| Utlysning | Innovativa Startups |
Syfte och mål
Målet är att tillhandahålla en teknologi som gör det möjligt att "filma" en person som använder tecken som stöd och få detta översatt och uppläst via sin telefon i realtid. Utmaningar har identifierats som behöver utforskas och lösas innan en marknadsmässig applikation kan realiseras. Mjukvara för hand- och ansiktsspårning togs fram, men den behöver anpassas för att köras på mobiltelefoner. Algoritmer för snabb identifiering och översättning av arm- och ansiktsrörelser till tecken behöver utvecklas.
Resultat och förväntade effekter
Vi har identifierat utmaningar för automatisk tolkning av tecken från det svenska teckenspråket. Händernas rörelser och ansiktsuttryck måste avläsas simultant. Om händerna hålls framför ansiktet försvåras avläsning. Existerande algoritmer behöver modifieras pga regionella variationer och teckens manuella likheter. "Proof of concept"-mjukvaran kan läsa av ansiktsuttryck, händer och armars form och rörelse med en vanlig webbkamera. Nästa steg är att mobilanpassa mjukvaran och utveckla maskininlärning för anpassning till fler länders teckenspråk.
Upplägg och genomförande
Projektet är utformat som ett uppstarts- och initieringsprojekt med mål att skapa samverkan mellan RISE instituten och Devimito, samt för att utforska förutsättningarna att med hjälp av teknologi inom maskinlärande, neurala nätverk och bildanalys möjliggöra realtidstranskribering av teckenspråk i smartphones. Workshops, möten, litteratur- och teknikstudier samt en proof-of-concept implementation har genomförts under våren 2017 med lovande resultat. Projektet har även kompletterats med en kundundersökning som visade på ett intresse och behov från marknaden.