KoDa - Kollektivtrafikens Datalab

Syfte och mål

Huvudmålet var att utöka Trafiklab med verktyg för lagring och tillgängliggörande av historisk kollektivtrafik data. Samt att utveckla en miljö och verktyg för dataanalys, Big Data och AI. Vi har idag samlat in realtidsdata (GTFS-rt) från 8 regionala kollektivtrafikmyndigheter (RKM) samt statiskdata (GTFS, NeTEx) från 21 RKMer under 1,5 års tid och tillgänglig gör denna data via ett publikt API och Python modul. Möjlighet till snabb access av strukturerad data via en JupyterHub server finns också.

Resultat och förväntade effekter

Det finns idag ett system som kontinuerligt laddar ned och lagrar den kollektivtrafikdata som görs tillgänglig via Trafiklab. Målet att skapa en miljö för dataanalys, Big Data och AI har uppfyllts genom att vi har en JuptyerHub-server som har snabb och direkt access till KoDa databasen samt att vi exponerar ett publikt API där användaren kan ladda ned historisk data till sin egen dator för analys. Verktygen ovan kommer göra det lättare för forskare, stadsplanerare och andra användare att få tillgång till och kunna analysera kollektivtrafik data oberoende av berörd trafikmyndighet.

Upplägg och genomförande

Datainsamlingen från Trafiklabs öppna data APIer görs med Apache Nifi som sedan lagras, behandlas och överförs till en Apache Cassandra databas. Den historiska rådatan kan man komma åt via ett publikt API och för snabb access till den strukturerade databasen finns tillgång till en JupyterHub-server. En Python modul (pykoda) har skapats och med tillhörande exempel kan en ny användare få en snabb introduktion till Koda systemet. Mer information om APIer och hur man får ett konto på JupyterHub servern finns att läsa på KoDa projektets websida.

Externa länkar

KoDa siten innehåller mer information om de olika alternativen som finns för att komma åt det historiska datat. PyKoDa är en Python modul som innehåller verktyg och exempel på hur man kan analysera och visualisera datat i KoDa.