Omfattende ETL i Azure Synapse

Privat aktør innen steds- og bevegelsesanalyse | Mobilitet

#PySpark

#Python

#MS SQL Server

#Data Warehouse

#Architectur

#Pipeline(s)

#Azure Data Explorer

Prosjektet handlet om å sette opp et datavarehus og prosessene som henter ut og fyller det med data. De første fasene av prosjektet besto av analyse av rådata for å kunne sette opp arkitektur, samt metodikk for prosessering av rådata. Det ble bygget flere verktøy under denne fasen for å teste ulike tilnærminger for datagenerering og verifisering av resultatet. I samarbeid med et sort spekter av samarbeidspartnere ble reglene for prosessering bestemt og arbeid med å bygge datavarehuset startet. Under denne delen av prosjektet ble Azure synapse valgt som platform for dataprosessering. Prosessering av data ble gjort ved bruk av pipelines og pyspark notebooks, hvor tidligere utformet metodikk ble brukt. Under hele prosjektet ble data validert og testet slik av vi kunne garantere kvalitet på data.

  • Data Engineer

    Oct. 2022 - Feb. 2023

    Small thumbnail picture of Herman Bergner

Klar for å starte ditt neste prosjekt med oss?

Ønsker du et pristilbud? Eller ønsker du å bli kjent med oss over en kopp kaffe? Fyll inn din e-post, så tar vi kontakt med deg.


Vi bryr oss om beskyttelse av dine data.

Les mer om vår Personvernerklæring