Mobility Data Warehouse

Privat aktør innen steds- og bevegelsesanalyse | Samferdsel

#Azure Databricks

#MS SQL Server

#Python

#Big Data

Innsikt oppnådd i det første mobilitetsprosjektet ga oss mulighet til å sette opp et datavarehus (DW). Store deler av prosjektet ble brukt på å konvertere tidligere beregninger til en robust ETL pipeline som var i stand til å levere store datamengder mens den gjenværende tiden ble brukt på å konfigurere og sette opp DW. ETL pipeline ble matet med store mengder lokaliseringsdata, samt andre sensordata samlet inn fra mobile enheter. Rørledningen konverterte deretter disse dataene til turer og reiser. En tur bestod av et anonymisert start- og sluttsted samt transportmetoden som ble brukt for å komme dit. Reiser ble beregnet basert på disse turene for å kombinere flere måter å reise fra et sted til et reisemål. På grunn av den store skalaen av data, var skalerbarhet en viktig del av prosjektet, og det ble brukt mange timer på å optimalisere måter å transformere data på, og konfigurere clustere for å sikre at vi kunne holde kalkulasjonstiden innenfor rimelig tid. Eksterne kilder som offentlig tilgjengelige kollektivtransportdata ble brukt i beregningene for å beregne transportmåter, så flere feilbehandlere ble implementert for å sikre riktig datakvalitet levert til kunden når disse kildene var nede.

  • Data Engineer

    Mar. 2020 - Jul. 2020

    Small thumbnail picture of Sindre KlavestadSmall thumbnail picture of Herman Bergner

Klar for å starte ditt neste prosjekt med oss?

Ønsker du et pristilbud? Eller ønsker du å bli kjent med oss over en kopp kaffe? Fyll inn din e-post, så tar vi kontakt med deg.


Vi bryr oss om beskyttelse av dine data.

Les mer om vår Personvernerklæring