Contexte de la mission :
La direction technique du Numérique de France Télévisions mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data.
En pleine expansion, nous souhaitons renforcer l’équipe Data par de nouvelles expertises en data engineering et aider ainsi à la mise en place de solutions Big Data dans un environnement Cloud.
Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l’orchestration.
La stack inclut aussi d’autres services de la Google Cloud Platform.
Au sein de l’équipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers.
Cette plateforme est aujourd’hui composée d’un Data Lake et d’un Data warehouse.
MISSIONS
– Construire et maintenir des pipelines data robustes et scalables pour alimenter notre Data Lake et notre Data warehouse
– Mettre en place et maintenir des infrastructures scalables (orchestration, stockage, distribution, notamment) capables de répondre aux besoins des équipes data et à l’accroissement rapide du volume de données
– Construire et maintenir des workflows GitLab CI/CD pour aider l’équipe à délivrer tout en assurant la qualité, la fiabilité et la disponibilité des données en production
– Développer des composants internes configurables d’ingestion et de traitement de données (ETL, API Rest)
– Collaborer avec les autres data engineers dans l’équipe pour appliquer les bonnes pratiques en vigueur, identifier les besoins et contribuer à notre stratégie data et notre roadmap
– Assurer l’évolutivité, la sécurité, la stabilité et la disponibilité des données de la plateforme data
– Contribuer et veiller à la mise à jour de la documentation
– Optimiser les traitements de données, refactorer les codes et participer activement aux revues de code
– Contribuer à la montée en compétence des profils juniors dans l’équipe
– Faire une veille technologique permanente dans le domaine
Expertises requises pour réaliser la prestation :
Pour mener à bien la prestation, le prestataire devra maitriser les expertises suivantes :
– Expertise data : structures de données, code, architecture
– Expériences professionnelles en tant que data engineer notamment dans le développement des pipelines data
– Expérience sur les architectures Cloud (AWS, GCP, Azure), idéalement sur GCP
– Excellente maîtrise des langages/frameworks : Python, SQL, Spark
– Expérience dans l’orchestration des workflows data avec Airflow : création des DAGs, refactoring
– Expérience Architecture as Code, idéalement sur Terraform
– Maîtrise des traitements ETL et gestion des flux de données : collecte, transformation, stockage, distribution
– Expérience en déploiement et maintien des jobs/dags/app dans un environnement de production.
– Bonnes connaissances de Git, Gitlab CI/CD et des process de delivery
– Capacité à vulgariser et à communiquer sur des aspects purement techniques
– Expérience professionnelle en méthode Agile (Scrum, Kanban)
Une séniorité d’au minimum 3 ans est demandée.
Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l’industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.
Kéoni Consulting aide les entreprises à:
Faire la différence
Innover et créer
Réinventer votre business
Satisfaire les clients
Gagner en avantages compétitifs
Devenir le leader de leur secteur
Devenir le leader de votre secteur
Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation)