En verktygslåda för kvalitetskontroll av perceptionsdata från fordon för pålitlig AI

Viktiga resultat som projektet gav

I detta projekt är syftet att förbättra förståelsen och tillförlitligheten av AI-system genom att bättre förstå datakvalitet och fel som kan uppstå i data i olika skeden genom hela AI-pipelinen. Målet är att utveckla en verktygslåda för kvalitetskontroll för data som samlas in och konsumeras av perceptionssystem för fordon. Verktygslådan är heltäckande i den meningen att den hanterar data från sitt råformat till högnivåformat som annoteringar och utdata från AI-algoritmer.

Långsiktiga effekter som förväntas

Som ett resultat av detta projekt har vi implementerat en första version av kvalitetskontrollverktyget, Qually. Qually tar data från olika sensorer i olika stadier och utvärderar en uppsättning kvalitetsmått för specifika datapunkter och dataset. Nästa steg är att förbättra Qually vad gäller dess noggrannhet, kapacitet, skalbarhet och fullständighet. Dessutom planerar vi även att förbättra uppsättningen av dataegenskaper och kvalitetsspecifikationer för att ytterligare utvärdera kvaliteten på data och hur olika typer av fel sprider sig och påverkar AI-systemet som helhet.

Upplägg och genomförande

För att uppnå målet kategoriserade vi först data i fyra format råformat, mediaformat, metaformat och annoteringssformat beroende på deras gränssnitt och den information de innehåller. För varje dataformat definierade vi en uppsättning specifikationer för datakvalitet. Vi utvecklade sedan en verktygslåda för kvalitetskontroll med dessa specifikationer för datavalidering och anomalidetektering. Som en tillämpning använde vi denna verktygslåda för att förbättra de automatiserade annoteringarna som produceras av vårt AI-system.