LEAKPRO: Leakage Profiling and Risk Oversight for Machine Learning Models
| Diarienummer | |
| Koordinator | Lindholmen Science Park AB - AI Sweden |
| Bidrag från Vinnova | 9 999 968 kronor |
| Projektets löptid | november 2023 - november 2025 |
| Status | Avslutat |
| Utlysning | Avancerad digitalisering - Möjliggörande tekniker |
| Ansökningsomgång | Cybersäkerhet för industriell avancerad digitalisering 2023 |
Viktiga resultat som projektet gav
Projektets mål uppfylldes genom utvecklingen av LeakPro, en open source-mjukvara för att mäta informationsläckage i AI-modeller, syntetiska data och federerad inlärning. Verktyget stödjer flera modaliteter och modellarkitekturer och innehåller metoder som är state of the art LeakPro används nu i Scaleouts erbjudande och har även använts av Syndata i ett samarbete med IMY. Projektet resulterade i fyra publikationer, samarbeten med offentlig sektor och OECD samt utbildning av sju masterstudenter.
Långsiktiga effekter som förväntas
Projektet förväntas bidra till säkrare och mer tillförlitlig användning av AI genom bättre metoder för att identifiera och mäta läckage av känslig information. LeakPro skapar långsiktig nytta som open source-plattform för forskning, industri och offentlig sektor, och stärker möjligheterna att utveckla AI-system som uppfyller krav på integritet, säkerhet och regelefterlevnad. Projektet bidrar även till fortsatt kompetensuppbyggnad och internationella samarbeten inom området.
Upplägg och genomförande
Projektet genomfördes i nära samarbete mellan akademi, offentlig sektor och industri. AI Sweden och RISE ansvarade för LeakPros grundarkitektur och attacker mot tränade modeller. Scaleout ansvarade för federerad inlärning och Syndata för syntetisk data. AstraZeneca, Sahlgrenska och Region Halland bidrog med use-cases och kravställning. Arbetet bedrevs iterativt med gemensam utveckling och integration i den open source-baserade plattformen LeakPro.