SignAI
| Reference number | |
| Coordinator | DEVMITO AB |
| Funding from Vinnova | SEK 300 000 |
| Project duration | March 2017 - October 2017 |
| Status | Completed |
| Venture | Innovative Startups |
Purpose and goal
Målet är att tillhandahålla en teknologi som gör det möjligt att "filma" en person som använder tecken som stöd och få detta översatt och uppläst via sin telefon i realtid. Utmaningar har identifierats som behöver utforskas och lösas innan en marknadsmässig applikation kan realiseras. Mjukvara för hand- och ansiktsspårning togs fram, men den behöver anpassas för att köras på mobiltelefoner. Algoritmer för snabb identifiering och översättning av arm- och ansiktsrörelser till tecken behöver utvecklas.
Expected results and effects
Vi har identifierat utmaningar för automatisk tolkning av tecken från det svenska teckenspråket. Händernas rörelser och ansiktsuttryck måste avläsas simultant. Om händerna hålls framför ansiktet försvåras avläsning. Existerande algoritmer behöver modifieras pga regionella variationer och teckens manuella likheter. "Proof of concept"-mjukvaran kan läsa av ansiktsuttryck, händer och armars form och rörelse med en vanlig webbkamera. Nästa steg är att mobilanpassa mjukvaran och utveckla maskininlärning för anpassning till fler länders teckenspråk.
Planned approach and implementation
Projektet är utformat som ett uppstarts- och initieringsprojekt med mål att skapa samverkan mellan RISE instituten och Devimito, samt för att utforska förutsättningarna att med hjälp av teknologi inom maskinlärande, neurala nätverk och bildanalys möjliggöra realtidstranskribering av teckenspråk i smartphones. Workshops, möten, litteratur- och teknikstudier samt en proof-of-concept implementation har genomförts under våren 2017 med lovande resultat. Projektet har även kompletterats med en kundundersökning som visade på ett intresse och behov från marknaden.