Las reglas en SQL, los pasos en Python
Por qué dejo las reglas del negocio en SQL, junto a los datos, y uso Python solo para ejecutar los pasos a su alrededor.
Llevo datos de bancos y aseguradoras a la nube y demuestro que llegaron completos.
Greater Toronto Area · SQL · Oracle PL/SQL · Python · Azure · Google Cloud · Español e inglés
$ python migrate.py --source oracle --target gcp[info] profiling source tables…[info] null keys: 0 · schema drift: 2 columns[warn] drifted columns mapped in the standardization layer[info] landing → standardization → serving[info] loading partitions 1/12 … 12/12[info] reconciling row counts and amounts…[ OK ] rows: source = target[ OK ] totals match to the cent[ OK ] nightly window met✓ migration complete$
Soy Manuel Pérez, Senior Data Engineer en el Greater Toronto Area. Desde 2009 he construido data warehouses y procesos ETL para un banco, llevado sus pipelines a Azure y migrado una aseguradora de salud a una plataforma nueva en dos países. Hoy trabajo en la migración de datos de International Banking de Scotiabank a Google Cloud.
Por qué dejo las reglas del negocio en SQL, junto a los datos, y uso Python solo para ejecutar los pasos a su alrededor.
Un proceso que termina sin errores solo demuestra que se ejecutó. Así demuestro que los datos son iguales a los dos lados.
Cuénteme del puesto o del proyecto. Leo cada mensaje y respondo personalmente.