L’ETL d’une banque vers Azure Data Factory
Senior Data Engineer et responsable technique · 2018–2023
Résultat
400 processus ETL refaits en ELT dans Azure Data Factory, avec des temps de chargement réduits de 50 %.
- 400
- processus ETL migrés
- −50 %
- temps de chargement
- −40 %
- tests manuels
- Azure Data Factory
- Oracle
- PL/SQL
- SQL Server
- DB2
- Tableau
Contexte
Une grande banque des Caraïbes. Son entrepôt de données alimentait les rapports et l’analytique de toute la banque, et je dirigeais l’équipe de l’entrepôt au sein de l’unité de transformation numérique.
C’est le plus grand volume de données de ma carrière : des instantanés quotidiens des comptes d’environ 1,5 million de lignes par jour, conservés 7 ans, et 10 ans de transactions de toute la banque, de 500 000 à plus de 999 000 par jour.
Problème
Les chargements de l’entrepôt tournaient sur Pentaho Data Integration et prenaient trop de temps pour finir dans la fenêtre de nuit.
Contraintes
- Des données bancaires et leurs contrôles.
- Des sources dans Oracle, SQL Server et DB2.
- Des fenêtres de traitement de nuit dont dépendaient les rapports de chaque matin.
- Des livraisons en sprints agiles, en parallèle d’autres travaux.
Architecture
Le diagramme, étape par étape
- Sources : Oracle, SQL Server, DB2 et fichiers.
- Des pipelines Azure Data Factory déplacent les données.
- Zone de préparation dans l’entrepôt.
- Transformations en SQL et PL/SQL.
- Modèles en étoile.
- Rapports Tableau et BI Publisher.
L’entrepôt lui-même est passé d’Oracle sur place à Oracle Cloud.
Décisions clés
- ELT plutôt qu’ETL. Data Factory déplaçait les données et l’entrepôt faisait les transformations, là où se trouvaient déjà le SQL et le PL/SQL et où ils tournaient le plus vite.
- Migrer par lots de la taille d’un sprint. Avec le scrum master et les product owners, les 400 processus sont devenus des épopées et des tâches de sprint : chaque lot passait en production et était vérifié avant le suivant.
- Automatiser les vérifications. Des scripts de validation et de profilage comparaient chaque chargement migré avec l’ancien, ce qui a aussi réduit les tests manuels de 40 %.
Résultat
400 processus migrés et des temps de chargement réduits de 50 %.
Mon rôle
Responsable technique et gestionnaire de l’équipe de l’entrepôt de données, avec six personnes sous ma responsabilité. J’ai conçu le modèle ELT, le plan de migration et la validation.
Je ne nomme pas les clients et les diagrammes sont illustratifs : ce travail est couvert par la confidentialité. Mis à jour : 21 octobre 2026.
Vous cherchez un ingénieur de données?
Parlez-moi du poste ou du projet. Je lis chaque message et je réponds personnellement.