Estamos em busca de um profissional altamente qualificado e apaixonado por Big Data para se juntar à nossa equipe de tecnologia. O candidato ideal será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.

;

Conhecimentos Técnicos Obrigatórios:

• 
  
• Experiência prévia com engenharia de dados;
  
• Implantação, administração, otimização e troubleshooting de problemas com frameworks de Big Data em ambiente ON-PREMISES:
  

-Cluster Apache Hadoop (armazenamento distribuído com HDFS);

-Cluster Apache Spark;

-Construção da camada de armazenamento com Delta Lake (architecture medallion <bronze, silver, gold> sobre o HDFS);

-Apache Hive (como metadata dos objetos Delta Lake)Apache Presto (preferencialmente) ou Apache Trino como engrenagem de consultas (SQL like);

• 
  
• Conhecimento aplicado em autenticação/segurança;
  
• Experiência em Delta Lake;
  
• Desenvolvimento em linguagem Python;
  
• Desenvolvimento em Pyspark (Apache Spark);
  
• Desenvolvimento em linguagem SQL (DDL, DML, DQL);
  
• Ter experiência com S.O. Linux (Red Hat Enterprise, Ubuntu Server)
  
• Ter experiência com containers (Dockerfile, build, run, compose, volumes, imagens);
  
• Ter experiência com Gitlab (ou outro versionador de código similar).
  

Conhecimentos Técnicos Desejáveis:

• 
  
• Clickhouse (SGBD como Datawarehouse);
  
• Jupyter Hub;
  
• Processamento de informações geoespaciais com GeoPandas e Pyspark;
  
• Implantação, administração, otimização e troubleshooting do cluster manager Kubernetes (ON-PREMISES ou em cloud);
  
• Desenvolvimento de dashboards com Qlik Sense;
  
• Conhecimento em Kubernetes para administração e troubleshooting de problemas;
  
• Ter autogerenciamento;
  
• Saber estimar tarefas dentro do cenário atribuído;
  
• Ter boa comunicação;
  
• Saber negociar (prazos, expor cenários)
  
• Conhecimento da aplicação prática do SCRUM.
  

Formação:

Possuir diploma de ensino superior completo nas seguintes áreas de conhecimento (e suas subáreas), de acordo com a classificação da CAPES da plataforma Sucupira:

• 
  
• Matemática (10100008).
  
• Probabilidade e Estatística (10200002).
  
• Ciência da Computação (10300007).
  
• Engenharias (30000009).
  
• Economia (60300000).
  
• Outra área com ênfase substancial em análise de dados ; ;