Al ruim 90 jaar zorgt de Nationale Loterij voor veilig speelplezier voor alle Belgen ouder dan 18 jaar. Dankzij het vertrouwen van al haar spelers boekte de Nationale Loterij in 2023 een omzet van 1,49 miljard euro. Dankzij de kleine inzetbedragen van veel spelers kan de Nationale Loterij elk jaar zo'n 345 miljoen euro laten terugvloeien naar de Belgische samenleving. Talrijke waardevolle projecten en verenigingen krijgen op die manier de steun die ze nodig hebben om het verschil te maken.
Het IT-departement is het kloppend hart van de Nationale Loterij dat nauw samenwerkt met de hele organisatie om onze spelers 7 dagen op 7 de beste spelervaring te laten beleven in een veilige omgeving en om te allen tijde onze onfeilbare reputatie hoog te houden. Onze miljoenen spelers, onze vele winnaars en de ontelbare goede doelen die we dagelijks voor meer dan 520.000 euro ondersteunen, rekenen daarop.
Momenteel zoeken we een Pyspark Developer. In eerste instantie neem jij de ontwikkeling en het beheer van een holistisch Modern Data Platform gebouwd in de Microsoft Azure Cloud voor je rekening. Bovendien ben jij als IT Custodian een belangrijke speler in het Data Platform team. Je bent verantwoordelijk voor de ontwikkeling, de implementatie en de technische optimalisering van de big data pipeline die het platform bevat.
Functieomschrijving
* Je staat in voor het verwerken en het transformeren van gegevens. Met behulp van PySpark voer je de ETL-operaties uit vanuit de verschillende gegevensdatabanken van de Nationale Loterij.
* Je werkt aan het nieuwe, moderne ontwerp van het dataplatform (medallion design) in nauwe samenwerking met de verantwoordelijke solution designer.
* Je optimaliseert de Spark-taken met het oog op betere prestaties en je beheert de resource allocation.
* Je maakt gegevensanalyses en modelleringen en je werkt samen met de Data Scientists om op grote schaal machine learningmodellen en algoritmes te ontwikkelen.
Profiel
* Je hebt een diploma Bachelor of Master of Science in een big data-gerelateerd domein met minstens 5 jaar ervaring in datapipelines en cloudtoepassingen. Bovendien heb je een goede kennis van Python.
* Je bent een expert in Python, je hebt ervaring met Azure- en Fabrictechnologie en met de optimalisering en prestaties van datapipelines.
* Je hebt kennis van de volgende technologieën of concepten: Apache Spark, Python, notebooks, DevOps azure CI/CD pipeline, Microsoft SQL of DBT, Azure Data Platform Stack, waaronder: Synapse Analytics, Lakehouse, Fabrics, Semantic model, PB.
* Ervaring met cloud computing, data engineering, big data processing, performance tuning en Architecture Azure Data Platform.
* Je bent gedreven en schrikt er niet voor terug om verantwoordelijkheid te nemen binnen een team. Je kunt zelfstandig werken, maar bent tegelijk ook een teamspeler.
* Je begrijpt vlot beide landstalen, en hebt goede kennis van technisch Engels.
Aanbod Groepsverzekering Maaltijdcheques Internetvergoeding / Abonnement Tussenkomst openbaar vervoer
* We vinden het belangrijk dat jij het beste uit jezelf kan halen, maar ook dat we het beste uit elkaar kunnen halen. Jouw ontwikkeling bij de Nationale Loterij heb je in je eigen handen.
* Een goed evenwicht tussen werk en privé: Bij de Nationale Loterij krijg je interessante aanvullingen op je arbeidsvoorwaarden, zoals 32 vakantiedagen, flexibele arbeidstijden in het kader van een 37,5 u werkweek, en de mogelijkheid om van thuis uit te werken.
* Geld en zo... Werken bij de Nationale Loterij is een flinke uitdaging, en daar zetten wij uiteraard iets tegenover. Naast een marktconform salaris en een bedrijfswagen ontvang je ook een jaarlijkse bonus, vakantiegeld, een eindejaarspremie, vergoedingen voor woon-werk-verplaatsingen, aanvullende verzekeringen, en nog meer.