Functieomschrijving
Voor Ministerie van Sociale Zaken zoeken wij een Senior Data Engineer. Je werkt binnen de directie CIO-office, Informatie voor bedrijfsvoering en beleid en Integrale Veiligheid (CIV) van het ministerie van Sociale Zaken en Werkgelegenheid (SZW). Zij richten zich op het veilig en beheerst omgaan met informatievoorziening en benutten kansen van nieuwe technologie zoals data en algoritmen binnen kaders voor privacy en informatiebeveiliging. De sfeer binnen de afdeling is collegiaal en informeel, met veel aandacht voor vakkennis en persoonlijke ontwikkeling.Als senior Data Engineer sluit je aan bij het Data & AI Competence Center (DACC). Je werkt aan een centrale, herbruikbare inrichting op het Cloud Data Platform (CDP) — een Azure-omgeving met onder meer Databricks — voor het ontsluiten, opwerken en beschikbaar maken van publieke databronnen. Je levert robuuste en onderhoudbare oplossingen zodat teams binnen SZW/NLA datasets kunnen hergebruiken voor dashboards, analyses, AI-toepassingen en andere data-producten. Je bouwt ingestie- en transformatiepipelines, helpt de technische basis neer te zetten en beïnvloedt keuzes rond kwaliteit, beheer en schaalbaarheid.
Werkzaamheden
- Je inventariseert relevante publieke databronnen, onderzoekt hun technische ontsluitingsmogelijkheden en brengt behoeften van afnemende teams en applicaties in kaart.
- Je ontwerpt en realiseert robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform, inclusief API-gebaseerde en andere open databronnen.
- Je ruimt data op, transformeert, verrijkt en structureert deze zodat ze bruikbaar en consistent beschikbaar komen voor hergebruik.
- Je richt herhaalbare data-pipelines in in Azure/Databricks, met aandacht voor foutafhandeling, logging, monitoring en herstelbaarheid.
- Je maakt datasets beschikbaar voor afnemers in vormen die passen bij verschillende gebruiksscenario’s zoals analyses, dashboards en AI-toepassingen.
- Je draagt bij aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer, zodat nieuwe databronnen sneller en consistenter aangesloten kunnen worden.
- Je stemt af met betrokken stakeholders, zoals het DACC, data-afnemers, architectuur, platformbeheer en andere teams binnen CIV en daarbuiten.
- Je helpt bij het bepalen van technische keuzes en richting binnen het team en draagt kennis over aan collega’s.
jouw profiel
- Je pakt zelfstandig complexe technische vraagstukken op en werkt tegelijk goed samen met collega’s uit verschillende disciplines.
- Je beschikt over goede communicatieve vaardigheden en kunt technische keuzes helder toelichten aan teamleden en stakeholders.
- Je hebt technische senioriteit: je neemt verantwoordelijkheid voor complexe data-vraagstukken, geeft technisch richting en draagt actief kennis over aan teamleden.
Functie eisen
- Je hebt minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol
- Je hebt aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure
- Je hebt ervaring met Databricks, Spark, Python en SQL
- Je hebt ervaring met het ontsluiten en verwerken van data uit externe bronnen, zoals REST API’s, open datasets en bestanden in verschillende formaten
- Je hebt ervaring met het opschonen, transformeren en modelleren van data voor hergebruik door verschillende afnemers
- Je richt robuuste, onderhoudbare en herhaalbare oplossingen in, inclusief monitoring, foutafhandeling en documentatie
- Je hebt kennis van data-architectuur, datamodellering en datakwaliteit
- Je hebt ervaring met werken in een Agile/sprintteam
- Je beschikt over WO werk- en denkniveau
- Je beschikt over kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen, bouwen of beheren van dataoplossingen en het werken met gangbare programmeer- en querytalen
Functie wensen
- Je hebt ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage en Data Factory
- Het is een pré als je ervaring hebt met Delta Lake, de medallion-architectuur of vergelijkbare patronen voor data-opwerking
- Je hebt ervaring met publieke of overheidsdatabronnen, zoals open data-voorzieningen en parlementaire data
- Je hebt ervaring met metadata, lineage en documentatie van datasets
- Je hebt ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid
- Je hebt kennis van Azure Databricks, Spark, Python en SQL en ervaring met het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring, foutafhandeling en beheerbaarheid
- Je hebt ervaring met het ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een overheidscontext of vergelijkbare complexe omgeving
- Bij voorkeur heb je ervaring met of affiniteit voor de organisatie of het werkveld van de opdrachtgever
