Contexte de la mission :
Le client mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data.
En pleine expansion, nous souhaitons renforcer l’équipe Data par de nouvelles expertises en data engineering et aider ainsi à la mise en place de solutions Big Data dans un environnement Cloud GCP. Cette équipe est composée d’un product owner et de data engineers.
Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l’orchestration. La stack inclut aussi les services BigQuery, Dataproc et PubSub de la Google Cloud Platform et Terraform pour la gestion de l’infrastructure.
MISSIONS :
Au sein de l’équipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers.
Cette plateforme repose sur une architecture Lakehouse construite sur la Google Cloud Plateform.
En travaillant avec les autres Data Engineers de l’équipe, la prestation consistera à participer à :
La collecte et l’ingestion de différentes sources de données non homogènes
La mise en place de pipelines de traitement de données
Le développement des modèles de données
L’extraction et l’exposition des données du Lakehouse vers d’autres services
L’industrialisation des projets sur la GCP
La mise en place et la maintenance des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
La participation aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données
La participation active aux différentes phases de grooming, cadrage et planification des tâches avec l’équipe
PROFIL & Expertises requises:
Pour mener à bien la prestation, le prestataire devra maitriser les expertises suivantes :
Au moins 3 ans d’expérience dans un environnement data
Compétences solides en data : structures de données, code, architecture
Connaissance de l’un des Cloud Provider Public : de préférence GCP
Expériences professionnelles avec les langages SQL et Python
Références professionnelles sur des projets Big Data : de préférence Pyspark, BigQuery et Airflow
Expertises dans la mise en place de pipeline ETL / ELT
Bonnes connaissances de Gitlab et Gitlab CI/CD
Forte capacité à vulgariser et à communiquer sur des aspects purement techniques
Pratique des méthodes Agile (Scrum, Kanban)
Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l’industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.
Kéoni Consulting aide les entreprises à:
Faire la différence
Innover et créer
Réinventer votre business
Satisfaire les clients
Gagner en avantages compétitifs
Devenir le leader de leur secteur
Devenir le leader de votre secteur
Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation)