SpatialQA: Natural Language Querying of Semantic 3D Maps for Autonomous Robot Fleets
| Diarienummer | |
| Koordinator | Staer AB |
| Bidrag från Vinnova | 1 000 000 kronor |
| Projektets löptid | juli 2026 - juli 2027 |
| Status | Pågående |
| Utlysning | Avancerad digitalisering - Industriell behovsdriven innovation |
| Ansökningsomgång | USA-samarbeten inom AI, digital infrastruktur och cybersäkerhet Steg 2 |
Syfte och mål
Autonoma robotflottor genererar detaljrika semantiska 3D-kartor av industrianläggningar i nära realtid, men informationen i denna representation är i stor utsträckning otillgänglig för de operatörer som är beroende av data för driften av dessa anläggningar. Detta projekt integrerar stora synspråksmodeller (“Visual Language Models” - VLM) med Staers Common Spatial Operating Model så att man kan ställa förfrågningar mot levande 3D kartor på naturligt språk.
Förväntade effekter och resultat
Semantiska 3D-kartor används i allt större utsträckning i lager, fabriker, sjukhus och på byggarbetsplatser. Ett generaliserbart ramverk för VLM–kartförankring, och det benchmarkdataset som krävs för att utvärdera det, kommer att accelerera fältet bortom Staers specifika driftsättningar. Cybersäkerhetsaspekten är också relevant: förankrad Physical AI gör anomalidetektering reviderbar ("visa mig vad som utlöste den här aviseringen"), en viktig egenskap för kritisk infrastruktur.
Planerat upplägg och genomförande
WP1: VLM–kartgränssnitt och förankring (månad 1–5) WP2: Temporalt frågetillägg (månad 3–7) WP3: Naturligt språk-API och användargränssnitt (månad 5–7) WP4: Navigation som konsument av förankrade frågor (månad 7–9) WP5: Industriell validering och användarstudie (månad 8–11) WP6: Benchmarkdataset och spridning (månad 10–12)