
Consultant Senior Data Engineer, SPARK, SCALA & JAVA F/H
•Participer à la réalisation de projets décisionnels et au développement des processus d’intégration de Data Hub, de DataWarehouses ou Data Lakes en architecture On Premise ou Cloud & Hadoop.
• Accompagner les Métiers dans l’expression de leurs besoins en termes de conception de flux de données et modélisation des traitements.
•Définir et produire les dossiers de conception fonctionnelle et technique des flux de données et des traitements.
•Définir et produire les scripts de traitements de données structurées ou NO-SQL: Data Prep, Data Quality Management, Calculs et traitements de données en mode batch et/ou real-time, interfaces exports/imports, interfaces API …
•Définir et produire les processus d’exploitation IT des traitements de données : supervision, scheduling, sécurité, gestion des log …
•Concevoir les protocoles de tests. Organiser et réaliser les plans de tests. Réaliser des tests unitaires et de recettes
•Rédiger des manuels utilisateurs et former les utilisateurs
•Développer des requêtes SPARK et/ou SCALA et/ou JAVA
•Être en support aux Data Analystes pour réaliser des études statistiques et des échantillons : profil et segmentation client, analyse de questionnaires …
•Diplômé·e d’un cursus ingénieur en Informatique, vous justifiez d’une première expérience de plus de 7 ans dans les activités de Data Intégration, Data Ingénierie et de développement SPARK, SPARK THIFT, SCALA (version minimum 2.12), JAVA (version minimum 11)
•Vous maîtriser le framework HADOOP, SPARK
•Vous maîtriser les outils Big Data suivants : HDFS, SPRING, MAVEN, GIT, JENKINS
•Vous avez une première expérience dans les domaines suivants :
– Mise en place d’architecture BIG DATA
– Conception, développement, mise en production, supervision et optimisation des flux sous SPARK dans un contexte de fortes volumétries
-Mise en œuvre de best-practices, plan de robustesse et de haute performance, des traitements
-Maintien en condition opérationnelle
-Analyse des logs
•Vous maîtriser les problématiques de Data Intégration dans un contexte multi-technologie : ORACLE, SQL SERVER, HDFS …
•Vous maîtriser les problématiques de Data Intégration dans un contexte multi-technologie NOSQL : MONGODB, NEO4J, COUCHBASE, HBASE, CASSANDRA
•Une première expérience des méthodes agiles & Devops serait un plus
Cat-Amania est une Entreprise de Services Numériques de 950 collaborateurs répartis sur 17 agences en France et à l’international pour un total de 70 millions d’euros de chiffre d’affaires en 2021.
Le but de Cat-Amania : la mise en œuvre de démarches opérationnelles et méthodologiques pour réaliser et accompagner les projets de ses clients sur les aspects pilotage, AMOA, réalisation, tests et recettes.
Fort de nos référencements nationaux, nous avons su gagner la confiance de nos clients et la conserver grâce à l’investissement de nos collaborateurs car Cat-Amania, c’est avant tout une approche humaine avec la volonté d’entretenir des liens étroits. L’agence est un véritable lieu de vie où se mêle travail et bonne humeur.
Référence Apec : 167816844W
Cliquez sur ce lien pour postuler à cette offre d’emploi.
Mettre l’emploi en favori
Vous devez vous connecter pour mettre cette offre en favori.