Metrologiskt baserade metoder och verktyg för att objektivt mäta, jämföra och säkerställa AI-systemens prestanda

Syfte och mål

Syftet med planeringsprojektet är att utveckla och stärka en internationell projektansökan till EURAMETs utlysning inom fundamental metrologi, med fokus på metrologiskt baserade metoder för AI‑utvärdering. Projektets unika bidrag är att överföra metoder från Item Response Theory (IRT) till utvärdering av AI‑modeller. Genom detta utnyttjas IRT som en metod för att mäta AI-modellers latenta förmåga såväl som de uppgifter AI:n ställs inför. Detta möjliggör i sin tur kvantifiering av osäkerhet.

Förväntade effekter och resultat

Huvudprojektets mål är att utveckla metrologiskt baserade metoder för jämförelse och att försöka nå en objektiv och spårbar mätning av AI‑prestanda, inkl kvantifierad osäkerhet och beslutsrisk. Detta i linje med utlysningens syfte att stärka Europas metrologiska kapacitet, stödja reglering och standardisering samt möjlig göra tillförlitlig innovation. Projektet bidrar till förväntade effekter genom att skapa gemensamma metoder som kan användas i konformitetsbedömning, standarder och tillämpning.

Planerat upplägg och genomförande

Arbetet är indelat i två arbetspaket: 1. Litteratur- och metodgenomgång av befintliga IRT‑tillämpningar inom maskininlärning och AI‑benchmarking, identifiering av relevanta IRT‑modeller samt en konceptuell koppling till metrologiska principer som spårbarhet och mätosäkerhet. Undersöka hur Item Response Theory (IRT) kan användas som ett metrologiskt grundat ramverk för att utvärdera och jämföra AI‑modellers prestanda. 2. Koordinering och skrivarbete. Partneringmöten med europeiska partners