Wat is je opdracht In eerste instantie neem jij de ontwikkeling en het beheer van een holistisch Modern Data Platform gebouwd in de Microsoft Azure Cloud voor je rekening. Bovendien ben jij als IT Custodian een belangrijke speler in het Data Platform team. Je bent verantwoordelijk voor de ontwikkeling, de implementatie en de technische optimalisering van de Big Data pipeline die het platform bevat. Een woordje over de Nationale Loterij Al ruim 90 jaar zorgt de Nationale Loterij voor veilig speelplezier voor alle Belgen ouder dan 18 jaar. Dankzij het vertrouwen van al haar spelers boekte de Nationale Loterij in 2023 een omzet van 1,49 miljard euro. Dankzij de kleine inzetbedragen van veel spelers kan de Nationale Loterij elk jaar zo''n 345 miljoen euro laten terugvloeien naar de Belgische samenleving. Talrijke waardevolle projecten en verenigingen krijgen op die manier de steun die ze nodig hebben om het verschil te maken. Samen met de Business zorgde onze IT afdeling voor recordresultaten waar we terecht trots op mogen zijn 470 miljoen e commercetransacties, met een maximumpiek van bijna 8000 transacties/min 100% beschikbaarheid van de core drawing/gaming engines 99,98% beschikbaarheid van de kanalen Het IT departement is het kloppend hart van de Nationale Loterij dat nauw samenwerkt met de hele organisatie om onze spelers 7 dagen op 7 de beste spelervaring te laten beleven in een veilige omgeving en om te allen tijde onze onfeilbare reputatie hoog te houden. Onze miljoenen spelers, onze vele winnaars en de ontelbare goede doelen die we dagelijks voor meer dan 520.000 euro ondersteunen, rekenen daarop. Binnen het Data Platform team ben je verantwoordelijk voor de volgende aspecten Je staat in voor het verwerken en het transformeren van gegevens. Met behulp van PySpark voer je de ETL operaties uit vanuit de verschillende gegevensdatabanken van de Nationale Loterij. Je werkt aan het nieuwe, moderne ontwerp van het dataplatform (medallion design) in nauwe samenwerking met de verantwoordelijke solution designer. Je optimaliseert de Spark taken met het oog op betere prestaties en je beheert de resource allocation. Je maakt gegevensanalyses en modelleringen en je werkt samen met de Data Scientists om op grote schaal machine learningmodellen en algoritmes te ontwikkelen. Hoe kun jij het verschil maken Je hebt een diploma Bachelor of Master of Science in een Big Data gerelateerd domein met minstens 5 jaar ervaring in datapipelines en cloudtoepassingen. Bovendien heb je een goede kennis van Python. Je hebt kennis van de volgende technologien of concepten Apache Spark, Python, notebooks DevOps Azure CI/CD pipeline Microsoft SQL of DBT Azure Data Platform Stack, waaronder: Synapse Analytics Lakehouse Fabrics Semantic model PBI Ervaring met cloud computing, data engineering, Big Data processing, performance tuning Architecture Azure Data Platform Je bent gedreven en schrikt er niet voor terug om verantwoordelijkheid te nemen binnen een team. Je kunt zelfsta