Job Description

Buscamos un Senior AWS Data Engineer / Data Migration & Automation Engineer con experiencia sólida en ingeniería de datos, migración de bases de datos, desarrollo y transformación de procesos ETL/ELT y automatización de soluciones sobre AWS. La persona será responsable de llevar procesos existentes de bases de datos, SQL y ETLs hacia AWS, asegurando que la migración sea técnicamente correcta, automatizada, trazable, escalable y operable en los diferentes ambientes. Un aspecto fundamental del rol es que la solución no quede únicamente desarrollada, sino que todo el ciclo de desarrollo y despliegue quede automatizado mediante GitHub y GitHub Actions, siguiendo buenas prácticas de CI/CD.

Profile

1. Responsabilidades principales:

Migración de bases de datos

• Analizar bases de datos y plataformas existentes para identificar estructuras, dependencias, volumen, complejidad y riesgos de migración.

• Diseñar y ejecutar estrategias de migración hacia AWS.

• Configurar y operar AWS Database Migration Service (AWS DMS) para migraciones y replicaciones.

• Gestionar cargas iniciales, cargas incrementales y procesos de sincronización.

• Participar en actividades de cutover, validación y estabilización de las plataformas migradas.

• Realizar troubleshooting de errores de migración, conectividad, rendimiento y consistencia de datos.

SQL y bases de datos

• Desarrollar y mantener SQL avanzado.

• Analizar y adaptar queries, vistas, stored procedures, funciones y procesos SQL existentes.

• Identificar diferencias entre motores de bases de datos origen y destino.

• Optimizar consultas y procesos para mejorar rendimiento.

• Diseñar mecanismos de validación y reconciliación de información entre origen y destino.

ETL / ELT y AWS Glue

• Analizar procesos ETL existentes y comprender su lógica funcional y técnica.

• Migrar y rediseñar procesos ETL/ELT para ejecutarse sobre AWS.

• Desarrollar pipelines utilizando AWS Glue.

• Crear y administrar Glue Jobs, Crawlers, Workflows y Glue Data Catalog.

• Desarrollar transformaciones utilizando Python y/o PySpark.

• Diseñar procesos de ingesta, transformación y carga sobre S3 y otros servicios AWS.

• Automatizar la ejecución, dependencia y orquestación de los pipelines.

• Implementar controles de calidad y validaciones dentro de los procesos de datos.

Automatización y CI/CD

• Utilizar GitHub como plataforma de control de versiones y colaboración.

• Definir y mantener estrategias de branching, pull requests y code reviews.

• Diseñar e implementar pipelines de GitHub Actions.

• Automatizar procesos de build, testing, packaging y deployment.

• Automatizar despliegues hacia los diferentes ambientes: DEV, QA/UAT y PROD.

• Gestionar variables, secrets y configuraciones de forma segura.

• Implementar mecanismos de rollback y control de versiones.

• Integrar GitHub Actions con AWS para automatizar el despliegue de componentes de datos y ETL.

• Reducir al mínimo las actividades manuales en el ciclo de desarrollo y operación.

Infraestructura y operación AWS

• Implementar infraestructura y configuraciones mediante Infrastructure as Code.

• Trabajar preferentemente con Terraform y/o AWS CloudFormation.

• Configurar monitorización, logging y alertas utilizando Amazon CloudWatch.

• Implementar y operar servicios de AWS orientados a datos, automatización y procesamiento.

• Participar en el diseño de soluciones escalables, seguras y mantenibles

2. Requerimientos técnicos:

AWS

Experiencia práctica y demostrable con:

• AWS Glue

• AWS DMS

• Amazon S3

• Amazon CloudWatch

• AWS IAM

• AWS Lambda

• AWS Step Functions y/o herramientas de orquestación equivalentes

• EventBridge y/o mecanismos de automatización de eventos

Data Engineering

• ETL / ELT

• Data pipelines

• Data migration

• Data transformation

• Data validation y reconciliation

• Data quality

• Procesamiento de grandes volúmenes de datos

SQL y bases de datos

• SQL avanzado

• Queries complejas

• Joins

• CTEs

• Window functions

• Stored procedures

• Functions

• Views

• Optimización de consultas

• Experiencia con bases de datos relacionales

Lenguajes

• Python

• PySpark como conocimiento altamente deseable para AWS Glue

GitHub y DevOps

• Git

• GitHub

• GitHub Actions

• CI/CD

• Pull Requests

• Branching strategies

• Automated testing

• Automated deployments

• Gestión de secrets y variables

• Integración de GitHub con AWS

Infrastructure as Code

• Terraform y/o CloudFormation

Additional Information

Experiencia con bases de datos

Se valorará especialmente experiencia con uno o varios de los siguientes motores:

• Oracle

• Microsoft SQL Server

• PostgreSQL

• MySQL El candidato debe ser capaz de entender un entorno de base de datos existente, identificar dependencias y adaptar la solución para el entorno AWS destino.

Competencias profesionales

• Capacidad analítica.

• Orientación a la automatización.

• Atención al detalle.

• Orientación a calidad de datos.

• Capacidad de troubleshooting.

• Pensamiento estructurado.

• Buenas prácticas de desarrollo.

• Capacidad para documentar soluciones técnicas.

• Trabajo colaborativo.

• Capacidad para gestionar prioridades y entregas.

• Orientación a resultados.

Perfil técnico esperado

El candidato ideal debe ser capaz de trabajar end-to-end en una migración de datos. Como referencia, debería poder participar en un flujo como: Base de datos origen → AWS DMS → Amazon S3 → AWS Glue → Transformaciones SQL / Python / PySpark → Base de datos o Data Warehouse destino → Validación y reconciliación → CI/CD con GitHub Actions → Monitorización con CloudWatch Además, debe ser capaz de llevar este flujo desde el desarrollo hasta producción utilizando procesos automatizados y controlados.