Nästa Generations Infrastruktur för Foundation Models
Diarienummer | |
Koordinator | Lindholmen Science Park AB - AI Sweden |
Bidrag från Vinnova | 10 000 000 kronor |
Projektets löptid | maj 2023 - oktober 2025 |
Status | Pågående |
Utlysning | Avancerad digitalisering - Möjliggörande tekniker |
Ansökningsomgång | Avancerad och innovativ digitalisering 2023 - första utlysning |
Syfte och mål
Projektet syftar till att utveckla nästa generations infrastruktur för att träna och implementera foundationmodeller som BERT, GPT-3, Dall-E och CLIP. Den planerade infrastrukturen kommer att baseras på en decentraliserad inlärningsarkitektur för att arbeta bort många av begränsningarna som finns i den nuvarande centraliserade infrastrukturen.
Förväntade effekter och resultat
Den föreslagna infrastrukturen kommer att ha högre prestanda, öka samarbete mellan intressenter, leda till en hårdvaruagnostisk lösning, ha bättre sekretess och säkerhet, samt minskade kostnader och ökad tillgänglighet. Projektet kommer att ha en positiv inverkan på det globala foundation-modell-ekosystemet och har hög potential för kommersialisering. AI Sweden erbjuder en ideal plattform för agilt samarbete inom projektet.
Planerat upplägg och genomförande
Projektet kommer att skapa en prototyp och demonstrera nästa generations infrastruktur för foundation-modeller, styrd av en central enhet på AI Sweden. Projektet har två arbetspaket där WP1 skall utföra benchmarks på den svenska modellen GPT-SW3 och WP2 utvecklar den decentraliserade arkitekturen. För dissemination finns också ett arbetspaket, då kunskapsspriding också är ett mål.