Senior Data Engineer. Migré. Rapproché. À temps.

Je migre les données des banques et des assureurs vers le nuage, et je prouve qu’elles sont arrivées intactes.

Région du Grand Toronto · SQL · Oracle PL/SQL · Python · Azure · Google Cloud · Anglais et espagnol

migration.log · exécution d’exemple

$ python migrate.py --source oracle --target gcp[info] profiling source tables…[info] null keys: 0 · schema drift: 2 columns[warn] drifted columns mapped in the standardization layer[info] landing → standardization → serving[info] loading partitions 1/12 … 12/12[info] reconciling row counts and amounts…[ OK ] rows: source = target[ OK ] totals match to the cent[ OK ] nightly window met✓ migration complete$

[OK] etl_to_adf=400 load_time=-50% [OK] snapshots=1.5M/day retention=7y [OK] insured_members=55K go_live=CR,HN [OK] plsql_exec_time=-30% [OK] manual_testing=-40% [OK] sms_cost=-75% [OK] etl_to_adf=400 load_time=-50% [OK] snapshots=1.5M/day retention=7y [OK] insured_members=55K go_live=CR,HN [OK] plsql_exec_time=-30% [OK] manual_testing=-40% [OK] sms_cost=-75%

À propos

Des données qui doivent concorder, pour les banques et les assureurs.

Je suis Manuel Pérez, Senior Data Engineer dans la région du Grand Toronto. Depuis 2009, j’ai bâti des entrepôts de données et des processus ETL pour une banque, migré ses pipelines vers Azure et fait passer un assureur santé à une nouvelle plateforme dans deux pays. Aujourd’hui, je travaille à la migration des données d’International Banking de la Banque Scotia vers Google Cloud.

En savoir plus sur moi Télécharger le CV (PDF)

17Années à travailler avec les données

400Processus ETL migrés vers Azure Data Factory

−50%De temps de chargement en moins après cette migration

55KAssurés migrés vers une nouvelle plateforme

Blogue