Dans un contexte de transformation et d'accélération, la DSI met en place un nouveau département Data en charge de la data plateforme internationale (10 pays) animée en agilité. Ce département prend en charge la collecte, la structuration, la mise en qualité technique et la préparation des jeux de données pour un usage par les équipes métiers.
Votre mission :
En tant que Data Engineer Leader, vous travaillerez en collaboration étroite avec le data architecte et les data stewards. En tant que leader, vous aurez la charge de vérifier et améliorer les pratiques de développement.
Vous aurez la charge de la mise en œuvre et de l'amélioration de la plateforme en réponse aux besoins des différents projets.
Pré-requis :
Vous avez une expérience d'au moins 4 ans en tant que Data Engineer ou développeur ETL. Vous maîtrisez l'environnement Microsoft Azure.
Vous avez envie de vous investir dans un projet de construction d'une nouvelle équipe, accompagner la mise en place des meilleures pratiques data et réussir avec nous ce projet.
Activités :
Collecter, stocker puis exposer les données
- Recueillir les besoins métiers auprès du Data Steward
- Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus
- Développer les solutions techniques de collecte de la donnée
- Développer les solutions techniques de stockage de la donnée
- Développer les solutions techniques de mise à disposition de la donnée à un métier
- Réaliser les tests unitaires et d'intégration
- Mettre en place l'automatisation des traitements (pipelines)
- Mettre en production
- Documenter
Mettre en qualité les données
- Industrialiser et automatiser le nettoyage de la donnée selon les règles établies par le Data Steward
- Gérer le cycle de vie de la donnée conformément aux directives du DPO
- Manager la qualité technique de la donnée
- Documenter
Mettre à disposition des modèles statistiques
-Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Data Steward
- Documenter
Compétences techniques :
- Maitrise des base de données (SQL, NoSQL, Datalake, …)
- Expertise dans le stockage des données et les outils ETL : Azure Data
- Maitrise des langages de développement : Python, SQL, option : R
- Factory, Azure Databricks, Power BI, SSAS, option : Azure Synapse
- Maitrise des méthodes de développement agile avec Azure DevOps
ITIL
- Anglais niveau B2
- Connaissance des modèles de données métiers Nhood (Property, Promotion, Asset, Commerce, RH, …)
En relation avec
- Data Steward (Holding et pays)
- Data Architect
- Référents IT pays
- Responsables d'Applications IT
