Data engineering senior
Contexte :
Adossée à la plateforme data, la prestation se déroulera au sein de l’équipe Pilotage. L’équipe actuellement constituée d’un Product Owner et d’un Data ingénieur a la charge de la mise à disposition des données utiles à l’ensemble des dashboards via son produit “Data4All”, basé sur la Google Cloud Platform.
La stack technique de l’équipe est principalement constituée de SQL, Dbt et Airflow pour l’orchestration, Gitlab CI/CD pour le déploiement et de Terraform / Terragrunt pour l’industrialisation de l’infrastructure (IaC). La stack inclut aussi d’autres services de la Google Cloud Platform.
Activité de cette équipe :
1- Prendre en charge le produit data Data4All aussi bien dans le build que dans le run :
– Construire les nouveaux indicateurs issus de nouvelles sources ou de sources existantes
– Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données
– Traiter et corriger les anomalies
– Concevoir les modèles de données adaptés aux besoins des utilisateurs dans un environnement big data (gestion de la volumétrie et des coûts)
2- Accompagner les utilisateurs de Data4All dans leurs usages
3- Auditer et cartographier les données existantes de Data4All et proposer une vision cible performante, gouvernée et adaptée aux besoins et contraintes
4- Mettre en place le contrôle qualité sur les données
Prestation attendue :
En interaction avec les membres de l’équipe, la prestation consiste en :
– La mise en place de pipelines de traitement de données
– Le développement des modèles de données
– L’extraction et l’exposition des données issues de la zone silver de la plateforme data vers Data4All
– L’industrialisation des différents environnements de Data4All, en collaboration avec l’équipe d’ops
– La participation active aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe
– La participation active à la veille technique pour l’amélioration de la stack
– L’amélioration des performances et la maîtrise des coûts sur les différents environnements Data4All, sur la GCP
Expertises requises dans le cadre de la prestation :
– Au moins 3 ans d’expérience en tant que Data ingénieur dans un environnement data
– Compétences solides en data : structures de données, code, architecture
– Expériences (au moins 2 ans) sur des projets intégrant DBT dans un contexte de gestion de tables incrémentales complexes et d’optimisation des coûts et performances
– Expériences dans un environnement du Cloud Provider Public Google (GCP)
– Expériences sur des projets Big Data intégrant BigQuery et Airflow
– Expériences dans la mise en place de pipeline ETL / ELT
– Expériences sur des projets intégrant Gitlab (Gitlab CI/CD)
– Expériences sur des projets intégrant Docker
– Expériences sur des projets intégrant Terraform et Terragrunt
– Une maitrise des langages SQL et Python est indispensable
– Capacité à participer activement aux différentes phases de cadrage des besoins
– Capacité à vulgariser et à communiquer sur des aspects purement techniques
– Pratique des méthodes Agile (Scrum, Kanban)
Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l’industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.
Kéoni Consulting aide les entreprises à :
Faire la différence
Innover et créer
Réinventer votre business
Satisfaire les clients
Gagner en avantages compétitifs
Devenir le leader de leur secteur
Devenir le leader de votre secteur
Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).