DATA ENGINEER Scala/Spark
CONTEXTE
L’entité a donc également un but humain en assurant la réussite des développeurs en reconversion. La mission consiste à renforcer une équipe de Data Engineers pour réaliser des projets Scala/Spark pour le compte de l’un de nos clients.
MISSIONS
Vous assurerez le pilotage de plusieurs projets basés majoritairement sur les technologies Python sur le périmètre de la filiale Energie. Le pilotage concerne l’ensemble des projets de cette filiale confiés à D2D.
Les engagements de l’entité D2D envers la filiale sont assurés grâce à un plateau projet composé de 2 à 4 développeurs, un ops et un architecte.
Description détaillée des tâches qui constituent la mission
Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous.
S’agissant d’un projet mené en agilité, le découpage des livrables est réalisé par sprints.
Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l’équipe projet, il n’y a pas de responsabilité de production individuelle.
Les sprints projet s’échelonnent généralement sur 2 semaines. Sur la base des 3 mois de prestation, il y aurait donc 6 sprints.
Livrables n°X : Sprint n°X
Lot 1 : développement des US et tests associés ;
Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ;
Lot 3 : Mise en place du CI/CD sur notre usine logicielle ;
Lot 4 : Mise en place du monitoring ;
Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) :
Le profil recherché pour la mission est celui d’un chef de projet SI/Data. Une expérience significative est requise pour ce poste.
Il bénéficiera d’un accompagnement du responsable de domaine / directeur de mission sur le périmètre et du responsable de l’équipe Chefs de Projets Data pour les aspects outillage et méthodologie. Ce soutien sera plus important au début de la mission, notamment pour la prise en main des outils indispensables mais peu répandus comme TimePerformance.
Qualités requises – Excellent relationnel – Capacité rédactionnelle – Capacité d’adaptation et de travail en équipe – Rigueur et esprit de synthèse – Esprit d’initiative – Autonomie
Compétences sur les méthodes et les outils
Requises
- maîtrise de l’API Scala Spark (batch principalement)
- maîtrise des techniques d’optimisation Spark
- expérience dans le traitement de volumétries importantes / complexes
- développement et bonnes pratiques Scala, build Maven
- travail en environnement cloud (idéalement Azure) et écosystème Databricks
Souhaitées
- Connaissance du SI
- Connaissance des outils Datadog, Rundeck
Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l’industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.
Kéoni Consulting aide les entreprises à :
Faire la différence
Innover et créer
Réinventer votre business
Satisfaire les clients
Gagner en avantages compétitifs
Devenir le leader de leur secteur
Devenir le leader de votre secteur
Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).