MELD: Flerdimensionell samarbetsinriktad distributionsmekanism för MoE-baserade Edge LLM:er för 6G Ubiquitous Intelligence

Syfte och mål

Utrullning av stora språkmodeller (LLM) vid gränsen spelar en viktig roll för att säkerställa låg latens, minska kommunikationskostnader och förbättra integriteten, vilket överbryggar klyftan som inte åtgärdas av moln- och enhetsbaserade LLM. Kantbaserade LLM står dock inför stora utmaningar på resursbegränsningar och mycket dynamiska, heterogena miljöer. Detta projekt etablerar de teoretiska grunderna och praktiska metoderna för att realisera högpresterande och allestädes närvarande LLM.

Förväntade effekter och resultat

Detta projekt etablerar de teoretiska grunderna och praktiska metoderna för att realisera högpresterande och allestädes närvarande gränsbaserade LLM. Högkvalitativa artiklar kommer att publiceras och relaterad programvara kommer att släppas.

Planerat upplägg och genomförande

För att hantera dessa utmaningar föreslås avancerade strategier i detta projekt. Samarbetsmetoder för distribution mellan och inom servrar partitionerar modeller baserade på expertaktiveringsvägar och likheter, vilket säkerställer effektiv distribution över edge-servrar och optimal expertschemaläggning inom varje server.