SignAI

Reference number
Coordinator DEVMITO AB
Funding from Vinnova SEK 300 000
Project duration March 2017 - October 2017
Status Completed
Venture Innovative Startups
Call Innovativa startups fas 1 Våren 2017

Purpose and goal

Målet är att tillhandahålla en teknologi som gör det möjligt att "filma" en person som använder tecken som stöd och få detta översatt och uppläst via sin telefon i realtid. Utmaningar har identifierats som behöver utforskas och lösas innan en marknadsmässig applikation kan realiseras. Mjukvara för hand- och ansiktsspårning togs fram, men den behöver anpassas för att köras på mobiltelefoner. Algoritmer för snabb identifiering och översättning av arm- och ansiktsrörelser till tecken behöver utvecklas.

Expected results and effects

Vi har identifierat utmaningar för automatisk tolkning av tecken från det svenska teckenspråket. Händernas rörelser och ansiktsuttryck måste avläsas simultant. Om händerna hålls framför ansiktet försvåras avläsning. Existerande algoritmer behöver modifieras pga regionella variationer och teckens manuella likheter. "Proof of concept"-mjukvaran kan läsa av ansiktsuttryck, händer och armars form och rörelse med en vanlig webbkamera. Nästa steg är att mobilanpassa mjukvaran och utveckla maskininlärning för anpassning till fler länders teckenspråk.

Planned approach and implementation

Projektet är utformat som ett uppstarts- och initieringsprojekt med mål att skapa samverkan mellan RISE instituten och Devimito, samt för att utforska förutsättningarna att med hjälp av teknologi inom maskinlärande, neurala nätverk och bildanalys möjliggöra realtidstranskribering av teckenspråk i smartphones. Workshops, möten, litteratur- och teknikstudier samt en proof-of-concept implementation har genomförts under våren 2017 med lovande resultat. Projektet har även kompletterats med en kundundersökning som visade på ett intresse och behov från marknaden.

External links

The project description has been provided by the project members themselves and the text has not been looked at by our editors.

Last updated 2 March 2017

Reference number 2017-00686

Page statistics