[ANATEL] Engenheiro(a) de Dados Sênior (Big Data)

[ANATEL] Engenheiro(a) de Dados Sênior (Big Data)

• Remoto
• Empregos






Estamos em busca de um profissional altamente qualificado e apaixonado por Big Data para se juntar à nossa equipe de tecnologia. O candidato ideal será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.




;




Conhecimentos Técnicos Obrigatórios:




;






• Experiência prévia com engenharia de dados;


• Implantação, administração, otimização e troubleshooting de problemas com frameworks de Big Data em ambiente ON-PREMISES:






-Cluster Apache Hadoop (armazenamento distribuído com HDFS);




-Cluster Apache Spark;




-Construção da camada de armazenamento com Delta Lake (architecture medallion <bronze, silver, gold> sobre o HDFS);




-Apache Hive (como metadata dos objetos Delta Lake)Apache Presto (preferencialmente) ou Apache Trino como engrenagem de consultas (SQL like);






• Conhecimento aplicado em autenticação/segurança;


• Experiência em Delta Lake;


• Desenvolvimento em linguagem Python;


• Desenvolvimento em Pyspark (Apache Spark);


• Desenvolvimento em linguagem SQL (DDL, DML, DQL);


• Ter experiência com S.O. Linux (Red Hat Enterprise, Ubuntu Server)


• Ter experiência com containers (Dockerfile, build, run, compose, volumes, imagens);


• Ter experiência com Gitlab (ou outro versionador de código similar).






Conhecimentos Técnicos Desejáveis:






• Clickhouse (SGBD como Datawarehouse);


• Jupyter Hub;


• Processamento de informações geoespaciais com GeoPandas e Pyspark;


• Implantação, administração, otimização e troubleshooting do cluster manager Kubernetes (ON-PREMISES ou em cloud);


• Desenvolvimento de dashboards com Qlik Sense;


• Conhecimento em Kubernetes para administração e troubleshooting de problemas;


• Ter autogerenciamento;


• Saber estimar tarefas dentro do cenário atribuído;


• Ter boa comunicação;


• Saber negociar (prazos, expor cenários)


• Conhecimento da aplicação prática do SCRUM.






Formação:




Possuir diploma de ensino superior completo nas seguintes áreas de conhecimento (e suas subáreas), de acordo com a classificação da CAPES da plataforma Sucupira:






• Matemática (10100008).


• Probabilidade e Estatística (10200002).


• Ciência da Computação (10300007).


• Engenharias (30000009).


• Economia (60300000).


• Outra área com ênfase substancial em análise de dados. ; ; ;








Candidatar



Receba diariamente alerta de vagas da cidade Remoto
Ativar Alerta de vagas (Grátis!)          
*Importante: verifique sempre sua caixa de spam



Veja mais vagas de emprego em Remoto




Importante:

Apenas disponibilizamos as vagas, todo processo ficará a cargo do recrutador.
Não pague nada, a menos que tenha absoluta certeza da idoneidade do recrutador, desconfie sempre. Não compre nada prometa participação em seleção ou contratação para uma vaga. Jamais informe dados bancários, de cartão ou envie cópia de documentos e fotos/selfies por e-mail, WhatsApp, aplicativos de celular. O Havagas não se responsabiliza por qualquer tipo de pagamento efetuado.




Dicas de segurança

Quando candidatar e/ou pesquisar vagas, observe estes sinais de fraude em potencial e considere denunciar, quando:


• exigirem pagamento, credenciais da sua conta ou outros dados pessoais confidenciais como parte do processo de recrutamento.


• dizem pagar muito por pouco trabalho, geralmente são falsas.
• oferecem emprego depois de só uma entrevista remota.

Certifique-se de pesquisar o empregador e o anunciante.





Receba diariamente alerta de vagas da cidade Remoto


Ativar Alerta de vagas (Grátis!)          
*Importante: verifique sempre sua caixa de spam