SuperLim: en svensk testmängd för språkmodeller
| Diarienummer | |
| Koordinator | RISE Research Institutes of Sweden AB - RISE SICS |
| Bidrag från Vinnova | 1 999 916 kronor |
| Projektets löptid | september 2020 - juli 2021 |
| Status | Avslutat |
Syfte och mål
Målet för SuperLim har varit att producera testmängder för att utvärdera kvaliteten och identifiera ojämlikheter hos svenska språkmodeller, samt möjliggöra jämförelser mellan dem. Projektet har levererat över förväntan 13 testmängder för att undersöka olika aspekter av språkförståelse. Dessa utgör grunden i, och ett viktigt steg mot, ett svenskt ramverk för utveckling och jämförelse av språkmodeller.
Resultat och förväntade effekter
Flera strategier har använts för att ta fram resurserna som ingår i samlingen. En del existerande resurser har omformatterats och återanvänts. Några resurser som ingår i (Super)GLUE har maskinöversätts och sedan manuellt korrigerats. Några resurser är helt nya och skapades specifikt för SuperLim. Några resurser fick vi som frivilliga bidrag från externa parter, eftersom projektet har fått en stor nationell spridning och mobiliserade ett stort intresse inom privat och offentlig sektor.
Upplägg och genomförande
Det är högst önskvärt att vidareutveckla resultatet, först och främst, att förse träningsmängder för de testmängder som saknar den, att etablera en baseline (ett referensvärde som modellernas prestation kan jämföras med) samt att skapa en ledartavla för att synliggöra modellernas relativa prestation.