Data engineering senior
CONTEXTE :
La Direction Data a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques du client.
La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.
Au sein de l’équipe Bronze, constituée d’un Product Owner et de 3 Data Ingénieurs. L’équipe est en charge du socle de la plateforme Data du numérique qui repose sur une architecture en médaillon dans un LakeHouse.
Le stack technique de l’équipe est principalement constitué de SQL, Dbt et Airflow pour l’orchestration, Gitlab CI/CD pour le déploiement et de Terraform / Terragrunt pour l’industrialisation de l’infrastructure (IaC).
MISSIONS
Au sein de l’équipe Data et au cœur de la plateforme Data, la prestation se déroule en collaboration avec les experts métiers de la donnée.
-La collecte et l’ingestion des différentes sources de données brutes
-La mise en place de pipelines de traitement de données
-Le développement des modèles de données
-L’extraction et l’exposition des données vers la zone Silver
-L’industrialisation des différents environnements, en collaboration avec l’équipe d’exploitation (Ops)
-La participation active aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe
-La mise en place et la maintenance des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
-La participation active à la veille technique
-L’amélioration des performances et la maîtrise des coûts
Expertises requises :
– Au moins 5 ans d’expérience en tant que Data ingénieur dans un environnement data
– Compétences solides en data : structures de données, code, architecture
– Expériences dans un environnement du Google Cloud Platform (GCP)
– Expériences sur des projets Big Data intégrant PySpark, BigQuery, et Airflow
– Expériences dans la mise en place de pipeline ETL / ELT
– Expériences sur des projets intégrant Gitlab (Gitlab CI/CD)
– Expériences sur des projets intégrant Docker
– Expériences sur des projets intégrant Terraform et Terragrunt
– Une maitrise des langages SQL et Python est indispensable
– Capacité à vulgariser et à communiquer sur des aspects purement techniques
– Pratique des méthodes Agile (Scrum, Kanban)
Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l’industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.
Kéoni Consulting aide les entreprises à :
Faire la différence
Innover et créer
Réinventer votre business
Satisfaire les clients
Gagner en avantages compétitifs
Devenir le leader de leur secteur
Devenir le leader de votre secteur
Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).