Wat is je opdracht?
In eerste instantie neem jij de ontwikkeling en het beheer van een holistisch Modern Data Platform gebouwd in de Microsoft Azure Cloud voor je rekening.
Bovendien ben jij als IT Custodian een belangrijke speler in het Data Platform team. Je bent verantwoordelijk voor de ontwikkeling, de implementatie en de technische optimalisering van de Big Data pipeline die het platform bevat.
Functie
Binnen het Data Platform team ben je verantwoordelijk voor de volgende aspecten
Je staat in voor het verwerken en het transformeren van gegevens. Met behulp van PySpark voer je de ETL-operaties uit vanuit de verschillende gegevensdatabanken van de Nationale Loterij.
Je werkt aan het nieuwe, moderne ontwerp van het dataplatform (medallion design) in nauwe samenwerking met de verantwoordelijke solution designer.
Je optimaliseert de Spark-taken met het oog op betere prestaties en je beheert de resource allocation.
Je maakt gegevensanalyses en modelleringen en je werkt samen met de Data Scientists om op grote schaal machine learningmodellen en algoritmes te ontwikkelen.
Functie-eisen
Hoe kun jij het verschil maken?
Je hebt een diploma Bachelor of Master of Science in een Big Data-gerelateerd domein met minstens 5 jaar ervaring in datapipelines en cloudtoepassingen. Bovendien heb je een goede kennis van Python.
Je hebt kennis van de volgende technologieën of concepten:
Apache Spark, Python, notebooks
DevOps Azure CI/CD pipeline
Microsoft SQL of DBT
Azure Data Platform Stack, waaronder:
Synapse Analytics
Lakehouse
Fabrics
Semantic model
PBI
Ervaring met cloud computing, data engineering, Big Data processing, performance tuning
Architecture Azure Data Platform
Je bent gedreven en schrikt er niet voor terug om verantwoordelijkheid te nemen binnen een team. Je kunt zelfstandig werken, maar bent tegelijk ook een teamspeler.
Drie redenen waarom deze functie geknipt is voor jou
Je bent een expert in Python, je hebt ervaring met Azure- en Fabrictechnologie en met de optimalisering en prestaties van datapipelines.
Je bent bekend met DevOps methodologie, want deze zul je toepassen in je dagelijkse taken.
Je bent van nature analytisch aangelegd en je lost graag moeilijke vraagstukken op.
Aanbod
Aandacht voor jou: We vinden het belangrijk dat jij het beste uit jezelf kan halen, maar ook dat we het beste uit elkaar kunnen halen. Jouw ontwikkeling bij de Nationale Loterij heb je in je eigen handen.
Een goed evenwicht tussen "werk" en "privéleven": Bij de Nationale Loterij krijg je interessante aanvullingen op je arbeidsvoorwaarden, zoals 32 vakantiedagen, vlottende arbeidstijden binnen een werkweek van 37,5u, en de mogelijkheid om aan thuiswerk te doen.
Geld enzo... Werken bij de Nationale Loterij is een flinke uitdaging, en daar zetten wij uiteraard iets tegenover. Naast een marktconform salaris met bedrijfswagen ontvang je ook een jaarlijkse bonus, vakantiegeld, een eindejaarspremie, vergoedingen voor woon-werk-verplaatsingen, aanvullende verzekeringen, en nog meer.