Nästa Generations Infrastruktur för Foundation Models

Syfte och mål

Projektet syftar till att utveckla nästa generations infrastruktur för att träna och implementera foundationmodeller som BERT, GPT-3, Dall-E och CLIP. Den planerade infrastrukturen kommer att baseras på en decentraliserad inlärningsarkitektur för att arbeta bort många av begränsningarna som finns i den nuvarande centraliserade infrastrukturen.

Förväntade effekter och resultat

Den föreslagna infrastrukturen kommer att ha högre prestanda, öka samarbete mellan intressenter, leda till en hårdvaruagnostisk lösning, ha bättre sekretess och säkerhet, samt minskade kostnader och ökad tillgänglighet. Projektet kommer att ha en positiv inverkan på det globala foundation-modell-ekosystemet och har hög potential för kommersialisering. AI Sweden erbjuder en ideal plattform för agilt samarbete inom projektet.

Planerat upplägg och genomförande

Projektet kommer att skapa en prototyp och demonstrera nästa generations infrastruktur för foundation-modeller, styrd av en central enhet på AI Sweden. Projektet har två arbetspaket där WP1 skall utföra benchmarks på den svenska modellen GPT-SW3 och WP2 utvecklar den decentraliserade arkitekturen. För dissemination finns också ett arbetspaket, då kunskapsspriding också är ett mål.