Big Data Engineer · Confirmé
Big Data Engineer
Réf. JS-C02380
pythonAWSKafkagestion de projet💼 5 ans d'XP
E-mail
🔒 Réservé employeur
Téléphone
🔒 Réservé employeur
LinkedIn
🔒 Réservé employeur
CV
🔒 Réservé employeur
5 ans d'expérience en Big Data, dont 1 an en Data Science. Expert en technologies Big Data (Spark, Kafka, Nifi, AWS, GCP) et langages de programmation (Python, Scala). Expérience dans la mise en place de flux d'ingestion et traitement de données, migration cloud, et gestion de projet Agile/Scrum.
Développement de flux d'ingestion et traitement de données via NIFI, Spark, Kafka, Airflow. Migration des traitements vers AWS. Traitements batch et temps réel avec Spark/Scala. Exposition des données via API node.js. Monitoring avec Grafana et ElasticSearch. Gestion de projet Scrum.
Traitement des données de 30 usines Renault avec Spark/Scala. Maintenance du Datalake et création de bases Hive. Planification des tâches avec Oozie. Collaboration avec équipe back-end en Inde. Gestion de projet Agile/Scrum.
Traitement temps réel de logs avec Logstash, Kafka et Spark Streaming. Industrialisation du projet DAM. Création de dashboards Kibana. Dockerisation des services. Gestion de projet Scrum.
Mise en place d'un système de détection de fraude. Prétraitement des données avec Spark/Scala. Utilisation de méthodes d'apprentissage automatique (Isolation Forest, Random Forest). Collaboration avec Data Scientists.