Switch-assisterad orkestrering av edge-AI för 6G-system
| Diarienummer | |
| Koordinator | RISE Research Institutes of Sweden AB - RISE AB - Digitala System |
| Bidrag från Vinnova | 149 390 kronor |
| Projektets löptid | september 2026 - september 2026 |
| Status | Avslutat |
| Utlysning | 6G - Kompetensförsörjning |
| Ansökningsomgång | Individrörlighet inom 6G för samarbeten med USA och Singapore |
Viktiga resultat som projektet gav
Projektet har uppnått målet att etablera ett forskningssamarbete mellan RISE och UT Austin inom distribuerad AI-inferens och framtida 6G-infrastrukturer. Forskningen fokuserade på semantisk överföring av KV-cache mellan separata prefill- och decode-noder vid distribuerad LLM-inferens för att minska kommunikationskostnader. Under utbytet studerades befintliga metoder, initiala simuleringar utvecklades och tekniska utmaningar identifierades. Arbetet fortsätter med utveckling av möjliga lösningar.
Långsiktiga effekter som förväntas
På längre sikt kan forskningen om semantisk KV-cacheöverföring bidra till effektivare distribuerad LLM-inferens genom minskad kommunikationsbelastning, förbättrad skalbarhet och bättre resursutnyttjande. Resultaten kan lägga grunden för nya nätverksmekanismer som stödjer AI-arbetslaster över distribuerade edge- och molninfrastrukturer. Detta kan i sin tur bidra till utvecklingen av mer effektiva och hållbara AI-tjänster i framtida 6G-system.
Upplägg och genomförande
Projektet genomfördes enligt tidsplanen genom en månads forskningsvistelse vid UT Austin. Arbetet omfattade regelbundna möten med värdgruppen, tekniska diskussioner och gemensam analys av resultat. Forskningsinriktningen utvecklades mot semantisk KV-cacheöverföring vid distribuerad LLM-inferens. Inga större hinder uppstod och samarbetet fungerade väl. Vid det avslutande mötet enades vi om nästa steg och hur forskningen skulle fortsätta efter vistelsen.