Contexte de la mission :
En tant qu’administrateur Hadoop avec une expérience de Google Cloud et Snowflake, la ressource rejoint une équipe de gestion de la plateforme Hadoop au sein du département Data Solution du client
Elle sera responsable de la conception, de l’implémentation et de la maintenance de l’infrastructure Hadoop ainsi que les plateformes Google Cloud et Snowflake
Elle travaillera au sein de l’équipe technique gérant la mise à disposition des données pour assurer la disponibilité, la performance et la sécurité des plateformes et de leurs traitements
MISSIONS :
- Gérer les comptes utilisateur, les rôles et les privilèges pour garantir la sécurité et le contrôle des données
- Optimiser les performances des différentes plateformes en surveillant et en ajustant les paramètres de configuration
- Effectuer une veille technologique régulière pour rester à jour sur les dernières avancées dans le domaine de Hadoop, Google Cloud et Snowflake, et proposer des améliorations pertinentes
- Collaborer avec les équipes de développement pour fournir des conseils et une assistance technique sur l’utilisation de Hadoop, Google Cloud et Snowflake
- Participer à la mise en place des plan de continuité des activités et plan de reprise des activités sur la plateforme Hadoop
- Surveiller proactivement les problèmes et les erreurs, en mettant en place des alertes et des mécanismes de détection des anomalies pour garantir la stabilité des plateformes
- Participer à la stratégie de migration progressive pour transférer les flux de données et les traitements de la plateforme Hadoop vers Snowflake, en minimisant les perturbations opérationnelles
- Collaborer avec les équipes de développement et les analystes de données pour comprendre les besoins métier et adapter les processus d’intégration des données dans Snowflake, en exploitant les avantages des fonctionnalités de traitement analytique de Snowflake
- Mettre en place des mécanismes de validation et de test pour s’assurer de l’intégrité des données migrées et de la qualité des résultats obtenus dans Snowflake
- Documenter les étapes de migration, les décisions prises et les défis rencontrés, afin de créer une référence pour les migrations futures et d’améliorer les processus de migration
- Évaluer les avantages et les gains obtenus grâce à la migration des outils d’intégration de données et de traitements vers Snowflake sur Google Cloud, en mesurant les améliorations de performances, la réduction des coûts ou d’autres avantages opérationnels
- Participer à la conception et la réalisation de briques techniques transverses à destination des projets sur les plateformes
- Participer à la résolution des problèmes liés à ces trois briques en N+3 si besoin en communiquant avec les fournisseurs de services (Cloudera, Google et Snowflake) et leurs équipes d’assistance
Compétences recherchées :
– Obligatoires :
- Expérience professionnelle avérée en tant qu’expert Hadoop, avec une solide compréhension de l’architecture et des composants du système Hadoop (DAS, Hue, Impala, Spark, Yarn, hdfs, Hive, Knox, Livy, Ranger, Solr, Sqoop, Zookeeper)
- Maîtrise des services et des outils de Google Cloud, tels que BigQuery, Cloud Storage, Dataproc, Dataflow, Compute Engine, Cloud SDK, Google Kubernetes Engine ainsi que Terraform
- Connaissance de Snowflake et de ses différentes briques (Snowpipe, Snowpipe Streaming, Snowgrid, Snowpark, Snowsight)
- Compétences avancées en programmation, en particulier dans les langages utilisés avec Hadoop, tels que Java, Scala ou Python
- Maîtrise de Linux et Shell
- Expérience dans la configuration et le réglage des clusters Hadoop pour une performance optimale
- Connaissance des bonnes pratiques en matière de sécurité des données et de la confidentialité, en particulier dans un environnement cloud
- Excellentes compétences en résolution de problèmes, en dépannage et en gestion des incidents
- Solides compétences en communication, avec la capacité de travailler efficacement en équipe et de collaborer avec des parties prenantes techniques et non techniques
Expérience nécessaire : 5 années minimum sur un poste similaire
Langues : Français
Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l’industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.
Kéoni Consulting aide les entreprises à :
Faire la différence
Innover et créer
Réinventer votre business
Satisfaire les clients
Gagner en avantages compétitifs
Devenir le leader de leur secteur
Devenir le leader de votre secteur
Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).