Data Engineer
Description du Poste
Le Data Engineer est chargé de la conception, du développement et de la gestion des infrastructures de données de l’entreprise. Il crée et maintient des systèmes permettant de collecter, stocker, traiter et analyser des volumes massifs de données. L’objectif est de garantir la qualité, l’accessibilité et la performance des données afin qu’elles soient prêtes à être exploitées par les analystes et les data scientists.
Missions Principales
- Concevoir et développer des pipelines de données pour collecter, nettoyer, transformer et stocker les données en vue de leur analyse.
- Mettre en place et maintenir des bases de données relationnelles et NoSQL (par exemple, MySQL, PostgreSQL, MongoDB, Hadoop, etc.).
- Travailler avec les équipes de data science et d’analytique pour comprendre les besoins en données et optimiser l’accès et la qualité des données.
- Intégrer des sources de données internes et externes en garantissant leur cohérence et leur conformité.
- Concevoir des solutions d’archivage et de gestion de grandes quantités de données (big data), tout en optimisant les performances.
- Assurer la sécurité et la confidentialité des données traitées en respectant les normes et les régulations en vigueur (RGPD, etc.).
- Automatiser les processus d’ingestion de données pour en faciliter l’accès et la gestion.
- Optimiser la performance des pipelines de données et garantir leur scalabilité et fiabilité.
- Collaborer avec les équipes IT pour déployer les solutions de données et garantir leur bonne intégration dans l’infrastructure de l’entreprise.
- Fournir des rapports techniques et des documentations détaillées sur les architectures et les processus de gestion des données.
Compétences et Qualités Requises
- Maîtrise des langages de programmation pour la gestion des données (Python, Scala, Java, etc.).
- Bonne connaissance des bases de données relationnelles (MySQL, PostgreSQL, etc.) et NoSQL (MongoDB, Cassandra, etc.).
- Expérience avec des outils de big data (Hadoop, Spark, Kafka, etc.) et des environnements de traitement de données massives.
- Compétences en traitement de données (ETL, batch processing, stream processing).
- Connaissance des plateformes cloud (AWS, Google Cloud, Microsoft Azure) et des outils associés (Redshift, BigQuery, etc.).
- Maîtrise des outils de gestion des flux de données (Airflow, Luigi, etc.).
- Bonnes compétences en gestion de version de code (Git, GitLab).
- Capacité à travailler avec des équipes pluridisciplinaires (data scientists, analystes, IT).
- Rigueur, autonomie et capacité à résoudre des problèmes complexes en matière de données.
- Bonne compréhension des principes de sécurité des données et de gestion des accès.
Formation et Expérience
- Bac +5 en informatique, ingénierie des données, statistiques, ou domaine similaire.
- Expérience de 2 à 5 ans dans un poste de Data Engineer ou dans un domaine similaire lié à la gestion des données.
- Expérience avec les technologies et outils de traitement des données massives (big data) est un plus.
