Especialista de Engenharia de Dados

more at experianplc.com.

Description

Estamos reestruturando os motores de priorização dos dados de contato, modernizando os processos existentes e migrando para uma nova arquitetura baseada em PySpark. O profissional atuará diretamente na evolução dos pipelines de dados, suportando a transformação de processos legados para uma solução mais escalável e resiliente em nuvem.

Responsabilidades Principais

• Desenvolver e manter pipelines de dados escaláveis e eficientes em PySpark;

• Migrar e modernizar processos legados para novos modelos de processamento distribuído;

• Implementar soluções de processamento de dados em ambiente AWS;

• Colaborar com times de produto e analistas do Data Office para detalhar necessidades e regras de negócio;

• Otimizar arquiteturas de dados considerando performance, governança e custo;

• Participar de iniciativas de automação, observabilidade e melhoria contínua dos processos.

Qualifications

• Requisitos Técnicos

• Experiência sólida com PySpark e frameworks de processamento distribuído;

• Conhecimento em Apache Airflow, Spark e Hadoop (quando aplicável);

• Proficiência em linguagens de programação, preferencialmente Python;

• Experiência com serviços AWS relevantes (ex.: EMR, Lambda, DynamoDB, S3, Glue opcional);

• Conhecimento em bancos de dados SQL;

• Familiaridade com práticas de DevOps e pipelines de CI/CD.

• Habilidades Comportamentais

• Capacidade de lidar com problemas complexos e entender regras de negócio;

• Senso crítico e foco em eficiência;

• Gosto por otimização e melhoria contínua;

• Comunicação clara e colaboração efetiva com diferentes áreas;

• Mentalidade orientada a resultados;

• Aprendizado rápido e adaptabilidade a mudanças tecnológicas.

• Diferenciais

• Experiência com provisionamento de infraestrutura (IaC);

• Vivência com metodologias ágeis;

• Experiência prévia em migração de processos legados para arquiteturas distribuídas.

Additional Information

Our uniqueness is that we celebrate yours. Experian's culture and people are important differentiators. We take our people agenda very seriously and focus on what matters; DEI, work/life balance, development, authenticity, collaboration, wellness, reward & recognition, volunteering... the list goes on. Experian's people first approach is award-winning; World's Best Workplaces™ 2024 (Fortune Top 25), Great Place To Work™ in 24 countries, and Glassdoor Best Places to Work 2024 to name a few. Check out Experian Life on social or our Careers Site to understand why.

Experian is proud to be an Equal Opportunity and Affirmative Action employer. Innovation is an important part of Experian's DNA and practices, and our diverse workforce drives our success. Everyone can succeed at Experian and bring their whole self to work, irrespective of their gender, ethnicity, religion, colour, sexuality, physical ability or age. If you have a disability or special need that requires accommodation, please let us know at the earliest opportunity.

Experian Careers - Creating a better tomorrow together

Find out what its like to work for Experian by clicking here