Data Engineer Data4all
Contexte :
Adossée à la plateforme data, la mission se déroulera au sein de l’équipe Pilotage. L’équipe actuellement constituée d’un Product Owner et d’un Data ingénieur est en charge de la mise à disposition des données utiles à l’ensemble des dashboards via son produit “Data4All”, basé sur la Google Cloud Platform.
La stack technique de l’équipe est principalement constituée de SQL, Dbt et Airflow pour l’orchestration, Gitlab CI/CD pour le déploiement et de Terraform / Terragrunt pour l’industrialisation de l’infrastructure (IaC). La stack inclut aussi d’autres services de la Google Cloud Platform.
1- Prendre en charge le produit data Data4All aussi bien dans le build que dans le run :
– Construire les nouveaux indicateurs issus de nouvelles sources ou de sources existantes
– Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données
– Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données
– Traiter et corriger les anomalies
– Concevoir les modèles de données adaptés aux besoins des utilisateurs
2- Accompagner les utilisateurs de Data4All dans leurs usages
3- Auditer et cartographier les données existantes de Data4All et proposer une vision cible performante, gouvernée et adaptée aux besoins et contraintes
4- Mettre en place le contrôle qualité sur les données
MISSIONS
En interaction avec les membres de l’équipe, consistera à participer à/au(x) :
– La mise en place de pipelines de traitement de données
– Développement des modèles de données
– L’extraction et l’exposition des données issues de la zone silver de la plateforme data vers Data4All
– L’industrialisation des différents environnements de Data4All, en collaboration avec l’équipe d’ops
– Différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe
– La veille technique pour l’amélioration du stack
– L’amélioration des performances et la maîtrise des coûts sur les différents environnements Data4All, sur la GCP
Expertises requises :
– Au moins 3 ans d’expérience en tant que Data ingénieur dans un environnement data
– Compétences solides en data : structures de données, code, architecture
– Expériences dans un environnement du Cloud Provider Public Google (GCP)
– Expériences sur des projets Big Data intégrant BigQuery, Airflow et dbt
– Expériences dans la mise en place de pipeline ETL / ELT
– Expériences sur des projets intégrant Gitlab (Gitlab CI/CD)
– Expériences sur des projets intégrant Docker
– Expériences sur des projets intégrant Terraform et Terragrunt
– Maitrise des langages SQL et Python indispensable
– Bonne connaissance de la solution dbt et notamment la gestion des tables incrémentales complexes
– Capacité à vulgariser et à communiquer sur des aspects purement techniques
– Pratique des méthodes Agile (Scrum, Kanban)
Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l’industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.
Kéoni Consulting aide les entreprises à :
Faire la différence
Innover et créer
Réinventer votre business
Satisfaire les clients
Gagner en avantages compétitifs
Devenir le leader de leur secteur
Devenir le leader de votre secteur
Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).