Engenheiro de Dados Sênior / Especialista - AWS / Snowflake / Iceberg

A Leega uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso n o poderia ser diferente com o nosso principal combust vel: as pessoas! Nossa cultura inspiradora e nossos valores est o presentes no dia a dia: tica e transpar ncia, excel ncia de qualidade, trabalho em equipe, responsabilidade econ mica, social e ambiental, rela es humanas e credibilidade. Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados. Se voc busca uma empresa din mica e parceira e que investe em seus colaboradores atrav s de capacita o constante, a Leega o lugar para voc ! >> A LEEGA PARA TODOS, ficaremos muito felizes em ter voc em nosso time. Venha fazer parte da nossa hist ria e da constru o do nosso futuro. Cadastre-se agora mesmo em nossas vagas! Buscamos um Engenheiro de Dados Senior para atuar em uma arquiteturalakehouse na AWS, na qual o Snowflake e o Data Warehouse principal e consome tabelas Apache Iceberg armazenadas no S3. O profissional ser referencia t cnica do ecossistema de dados, respons vel por projetar,construir e evoluir pipelines robustos e a interoperabilidade entre odata lake e o warehouse, garantindo qualidade, performance, controle decusto e governan a das solu es entregues. Principais responsabilidades: - Projetar e implementar pipelines de ingest o, transforma o edisponibiliza o de dados em ambiente AWS, escrevendo e mantendotabelas Apache Iceberg no S3. - Desenvolver jobs de processamento distribu do em Spark (EMR e/ou AWSGlue), incluindo cargas incrementais, upserts (MERGE) ereprocessamentos hist ricos. - Garantir a integra o entre Snowflake e o lakehouse Iceberg: externalvolumes, catalog integration (Glue Data Catalog), tabelas gerenciadaspelo Snowflake versus externamente gerenciadas e sincroniza o demetadados. - Executar e automatizar a manuten o das tabelas Iceberg: compacta ode arquivos pequenos, expira o de snapshots, remo o de arquivos rf os, evolu o de schema e de particionamento. - Modelar e otimizar modelos de dados e queries no Snowflake, garantindoperformance e uso eficiente de recursos. - Monitorar e otimizar custo e performance dos ambientes AWS e Snowflake(dimensionamento de warehouses, clustering, politicas de cache, custo de leitura no data lake). - Atuar na defini o de boas praticas de engenharia de dados:versionamento em Git, CI/CD, testes de dados, documenta o e linhagem. - Implementar controles de governan a e seguran a: RBAC, politicas demascaramento e de row access no Snowflake e permissionamento via LakeFormation. - Diagnosticar e solucionar problemas de performance e disponibilidadeem ambientes de dados cr ticos. - Atuar como referencia t cnica do time: revis o de c digo, mentoria deprofissionais menos experientes e registro de decis es de arquitetura. - Colaborar com times de dados, produto e negocio no levantamento derequisitos e na defini o de solu es. Requisitos obrigat rios: - Experiencia comprovada de no m nimo 5 anos atuando em ambiente Cloud AWS. - Experiencia comprovada de no m nimo 3 anos com Snowflake, incluindo modelagem, otimiza o de queries e gest o de warehouses e custo. - Experiencia comprovada em produ o com Apache Iceberg (desejavel 2 anos ou mais): particionamento, evolu o de schema, snapshots e time travel, MERGE e rotinas de manuten o e compacta o. - Experiencia com Apache Spark em escala (PySpark), incluindo tuning de jobs e diagnostico de skew e shuffle. - Conhecimento em servi os AWS voltados a dados: S3, Glue (ETL e Data Catalog), EMR, Athena, Lambda e Step Functions. - Dom nio de SQL avan ado para consultas complexas e otimiza o em ambientes de grande volume de dados. - Experiencia com modelagem de dados e arquiteturas de Data Warehouse, Data Lake e Lakehouse. - Python aplicado a automa o e engenharia de dados. - Experiencia com orquestra o de pipelines (Airflow, Step Functions, dbt ou equivalente). - Git e cultura de versionamento, testes e code review. - Ingl s t cnico para leitura de documenta o. Diferenciais: - Certifica o SnowPro (Core ou Advanced). - Certifica es AWS (Solutions Architect, Data Engineer ou Data Analytics). - Experiencia com Terraform ou outra ferramenta de Infraestrutura como C digo. - dbt em produ o. - Experiencia com cat logos abertos (Glue Data Catalog, Polaris / Open Catalog, Unity) e cen rios multi-engine. - Experiencia com streaming (Kinesis, Kafka / MSK, Snowpipe Streaming). - Ferramentas de observabilidade e qualidade de dados (dbt tests, Great Expectations, Monte Carlo). Compet ncias comportamentais: - Autonomia para conduzir entregas t cnicas com pouca supervis o. - Comunica o clara para interagir com reas de negocio e times multidisciplinares. - Pensamento anal tico e foco em resolu o de problemas complexos. - Postura colaborativa e proatividade na proposi o de melhorias t cnicas. Informa es adicionais A apresenta o de um case em PPT sobre atua o de Snowflake INDISPENS VEL Conhecimento/Atua o em: • AWS (experi ncia...