Metrologiskt baserade metoder och verktyg för att objektivt mäta, jämföra och säkerställa AI-systemens prestanda
| Diarienummer | |
| Koordinator | RISE Research Institutes of Sweden AB |
| Bidrag från Vinnova | 245 000 kronor |
| Projektets löptid | maj 2026 - september 2026 |
| Status | Avslutat |
| Ansökningsomgång | Planeringsbidrag inför en internationell ansökan 2026 |
Viktiga resultat som projektet gav
Projektets viktigaste mål uppnåddes: en konkurrenskraftig internationell ansökan som adresserar en europeisk kunskapslucka gällande metrologiskt baserade metoder för AI‑utvärdering. RISE specifika bidrag till ansökan var att överföra metoder från Item Response Theory (IRT) till utvärdering av AI‑modeller. RISE genomförde också en litteraturöversikt om AI-tillämpningar av den föreslagna metoden vilket gav en bättre och bredare bild över tidigare tillämpningar och var forskningsfronten ligger.
Långsiktiga effekter som förväntas
De långsiktiga konsekvenserna av huvudprojektet är standarder - baserade på metrologiska principer - för hur AI-modeller kan utvärderas på ett spårbart och reliabelt sätt. Standarder som sen också kan användas för att överensstämmelsebedömma ("conformity assess") AI-modeller gentemot uppsatta krav/kriterier. En annan viktig långsiktig effekt är en djupare förståelse för hur de två hitintills helt separerade forskningsfälten Metrologi ("Mätteknik") och AI/Machine Learning kan berika varandra.
Upplägg och genomförande
Projektet genomfördes dels som en rad diskussionsmöten och workshops i det europeriska konsortiet där detaljerna i de olika arbetspaketen och aktiviteterna mejslades fram iterativt och ansökan författades. Den andra aktiviteten var litteratursök och research över tidigare tillämpningar av den metod RISE föreslår ska användas för "mätning" av AI-modellers förmåga.