Ingénieur Data · Senior · Rueil-Malmaison, France
Ingénieur Data
Réf. JS-C01669
pythonETL📍 Rueil-Malmaison, France💼 7 ans d'XP
E-mail
🔒 Réservé employeur
Téléphone
🔒 Réservé employeur
LinkedIn
🔒 Réservé employeur
CV
🔒 Réservé employeur
Professionnel de la data avec près de 7 ans d'expérience en développement logiciel et data engineering, dont près de 2 ans d'expérience en Big Data. Expertise approfondie en Python et technologies Big Data, spécialisé dans la conception et l'optimisation de pipelines de données, l'implémentation de processus ETL et la gestion d'environnements cloud.
Projet KFR - Système d'Information Véhicules. Conception et développement d'une architecture de base de données complète, incluant une table historique principale pour les informations véhicules avec système de journalisation détaillé. Développement et implémentation d'un pipeline ETL pour le traitement efficace des données véhicules, incluant l'extraction de données SAP. Création d'un système automatisé de connexion SFTP avec traitement des fichiers basé sur l'horodatage. Direction de la migration du projet vers GitLab et mise en place des protocoles de gestion de versions. Implémentation d'un système de logging complet pour le suivi des opérations.
Projet ERP - Planification des Ressources d'Entreprise. Révision et optimisation des scripts SQL pour amélioration des performances. Conception et implémentation d'un pipeline ETL personnalisé. Développement d'APIs RESTful en Python. Mise en place de pipelines CI/CD via GitHub Actions pour l'automatisation des processus de build, test et déploiement.
Projet CP DATA - Traitement des Données Clients. Gestion du transfert quotidien des données entre GCP GCS Data Lake et HDFS Data Lake. Analyse interactive des tables Hive via SparkSQL DataFrames. Implémentation du nettoyage et de l'agrégation des données via transformations RDD. Amélioration de la qualité des données par filtrage, tri et agrégation dans Hive.
Projet UARS - Système d'Analyse et de Reporting Utilisateurs. Développement et maintenance du backend Spring Boot pour le tableau de bord UARS. Conception et implémentation de pipelines ETL personnalisés. Direction des initiatives de correction de bugs via reproduction systématique, analyse et résolution. Mise en place de systèmes de monitoring pour l'environnement de production.
Projet Apple-Pay - Système de Traitement des Paiements. Coordination avec l'équipe onshore pour la collecte des besoins fonctionnels. Développement de contrôleurs et DTOs avec l'architecture Spring MVC. Implémentation de logiques métier complexes. Gestion des corrections de bugs critiques en environnement Agile.