Sua missão como Tech Lead - Engenharia de Dados na Via
Varejo:
DESAFIO DA VAGA
Prover uma plataforma robusta e escalável, habilitando
capacidades que permitam obter, processar e disponibilizar
grandes volumes de dados de forma democrática para toda a
Via Varejo.
Apoiar as áreas de negócio no acompanhamento de indicadores
de forma clara, fácil, rápida e eficaz, que permitem que as
melhores práticas e ações para a Via Varejo sejam
realizadas
Promover ambiente propício a insights através de inovações
tecnológicas e uso de novas formas de análise.
Responsabilidades e desafios:
ATIVIDADES PRINCIPAIS
Desenvolver e manter uma arquitetura em ambiente Cloud para
ingestão e transformação de dados em batch e em tempo
real.
Apoiar na evolução do Data Lake, centralizando e
democratizando os dados da empresa.
Desenvolvimento de ETL/ELT com as visões de dados
específicas para as áreas de negócio.
Estruturar as visões de dados com boas práticas de
modelagem, formatos de dados, particionamento, compressão,
etc.
Criar e manter atualizada a documentação dos componentes
arquiteturais e metadados das informações
disponibilizadas.
Garantir a confiabilidade da plataforma e dos dados através
de testes unitários.
Liderar e ser referência técnica para o time de engenheiros
de dados, removendo impedimentos técnicos, orientando quanto
ao bom uso das tecnologias e plataformas.
Apoiar o Product Owner no refinamento/detalhamento das
histórias para a equipe técnica.
Criar soluções de dados que impactam diariamente a vida de
milhões de brasileiros clientes das marcas da Via
Varejo.
Atuar em squads multidisciplinares, permitindo acompanhar o
dia a dia de todas especialidades de dados (Eng. Dados, Data
Science, BI e BA).
Desenvolver o pipeline de dados corporativo, automatizar
atividades de desenvolvimento, gerar novas variáveis para
aplicação de modelos, construção de aplicações Batch e real
time, evoluir KPIs e monitorias, atuar em processamentos
complexos de dados e na melhoria continua dos
processos.
O que você precisa saber para vir com a gente neste
desafio?
Requisitos
Superior Completo (Tecnologia da Informação e áreas
correlatas)
Vivência em projetos de desenvolvimento de pipelines de
dados Batch/Real time.
Vivência e conhecimento em padrões arquiteturais de
plataformas de dados.
Conhecimento nos serviços / padrões arquiteturais de alguma
das principais clouds (Azure, Google Cloud, AWS)
Conhecimento em tecnologias de processamento paralelo
(Hadoop, Spark , Kafka, Beam)
Ferramentas de Ingestão, Integração e Orquestração de dados
(NiFi, Data Factory, Debezium, Airflow etc)
Armazenamento de grandes volumes de arquivos (HDFS, Blob
Storages )
Banco de dados relacional e NoSQL (Consultas, programação e
modelagem)
Linguagem de programação (C#, Java, Python ou Bash)
Visualização de Dados (Power BI)
Desenvolvimento de API Rest / Cloud Functions
Experiência trabalhando em equipes ágeis.
Ferramenta de versionamento (Git)
Inglês – leitura (intermediário)
Serão considerados diferenciais:
diferenciais
Pós-Graduação (Big Data, Eng. Dados ou correlatas)
Comentários
Postar um comentário