Automatisert datainnsamling og Medallion arkitektur i Microsoft Fabric
Smooth AS | Internt prosjekt
PySpark
Fabric
Prosjektet innebar oppsett av automatiserte datainnsamlinger via GitHub Actions og Python, med data lagret i Azure Storage. Videre ble data integrert i Microsoft Fabric innenfor en Medallion-arkitektur i Azure Data Lake, med Lakehouse-modell. Brukte PySpark for datatransformasjon, og skrev til slutt 'gold data' til SharePoint ved hjelp av Power Automate, noe som effektiviserte prosessen for datahåndtering og tilgjengeliggjøring.