Treinamento Apache NiFi

Sobre o Treinamento

O treinamento Apache NiFi é recomendado a técnicos que já conheçam os conceitos e o básicos de Big Data e queiram ampliar seus conhecimento sobre DataFlow para gigantescos volumes de dados. A distribuição Hadoop da Apache será a utilizada como base deste treinamento, porém do NiFi poder ser instalado em qualquer distribuição (Cloudera, Hortonworks, Clouds, etc) com os mesmos conceitos aplicados.

O NiFi foi projetado para automatiza fluxo de dados entre sistemas de software, integração de dados de diversas origens com diversos tipos de destinos, usando bancos de dados tradicionais e de Big Data como Hadoop (HDFS), Hive, Cassandra e Streamings do Kafka, Apache Spark, entre outras fontes de dados. O Apache NiFi é um projeto de software da Apache Software Foundation e baseado no software "NiagaraFiles" desenvolvido pela NSA.

Calendário de turmas

Objetivo

Ministrar os conceitos e técnicas de DataFlow com o Apache NiFi.

Público Alvo

O Treinamento Apache NiFi destina-se a profissionais desenvolvedores de ETL, arquitetos de sistemas,  desenvolvedores de sistemas, e engenheiros de dados e equipes de DevOps.

Dificuldade.

Intermediário.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Apache NiFi 1.17 e foi modificado pela última vez em 18 de Novembro de 2022.

Conteúdo Programático:

Introdução ao Hadoop.

• Introdução ao Hadoop.
• Histórico do projeto Apache Hadoop.
• Características do Hadoop.
• Conceitos fundamentais.
• Componentes do núcleo do Hadoop.
• Ecossistema Hadoop.
• Exemplos de casos de uso.
• Principais empresas que usam Hadoop no Mundo.
• Principais empresas que usam Hadoop no Brasil.

Introdução ao Apache NiFi.

• O projeto Apache NiFi.
• Histórico do projeto Apache NiFi.
• Versões do Apache NiFi.
• Licenciamento (Free Software X Open Source).
• Apache Software Foundation.
• Patrocinadores da Apache Software Foundation.
• Dados em repouso X dados em movimento.
• Arquitetura do Apache NiFi.
• Ecossistema NiFi.
• Terminologias.
• Apache NiFi UI.
• Sqoop X Pentaho Data Integration X Apache NiFi X Talend X Apache Hop.

Instalação e configuração do Apache NiFi.

• Requisitos de instalação.
• Instalando o NiFi no modo Standalone.
• Portas e protocolos de comunicação.
• Principais propriedades.

DataFlow no Apache NiFi.

• Conceituando DataFlow.
• DataFlow Manager (DFM).
• Processors.
• Tipos de Processor.
• Propriedade do Processor.
• Fila de Dados.
• Relacionamentos.
• Conexões.
• Scheduling.
• Error Handling.
• Labels.
• Conditional Processors.
• O arquivo flow.xml.gz.

DataFlow Templates.

• Dataflow Templates.
• Importando DataFlow templates.
• Exportando DataFlow templates.

Principais Processor do Apache NiFi.

• Processor Group.
• Processor GetFiles.
• Processor PutFiles.
• Processor ConvertRecord.
• Processor PutSQL.
• Processor QueryDatabaseTableRecord.
• Processor LogAttribute.
• Processor AttributesToCSV.
• Processor AttributesToJSON.
• Processor GetFTP.
• Processor GetHDFS.

NiFi Data Provenance.

• Conceitos do Data Provenance.
• NiFi FlowFile.
• Provenance Events.
• Event Type.
• File Lineage.
• Provenance Repository.

Apache NiFi Controller Services.

• Conceituando Controller Services.
• Services.
• Tipos de Controller Services.
• Grupos de Controller Services.
• Configurando Controller Services.
• AvroRecordSetWriter.

NiFi Expression Language.

• Estrutura do NiFi Expression.
• Expression Language Editor.
• NiFi Expression Language Functions.
• Data Types.
• Boolean Logic.
• Manipulação de Textos.
• Encode/Decode Functions.
• Searching.
• Operações matemáticas
• Manipulação de numéricos.
• Manipulação de datas.

NiFi RecordPath.

• Conceito do NiFi RecordPath.
• Schemas do NiFi RecordPath.
• Node Access.
• Filter Predicates.
• Filter Functions.
• Conversão de Tipos.
• Manipulando textos.
• Formatando datas.
• Encode/Decode Functions.

DataFlows na prática.

• Lendo e Convertendo formatos de Arquivos (CSV para JSON).
• Database Aggregating, Splitting and Transforming.
• Extração de dados, logs, etc.
• Trabalhando com dados via FTP e SSH.
• Trabalhando com dados de Bases de Dados (NoSQL e SQL).
• Trabalhando com dados do DataLake Hadoop - HDFS.
• Conexões com Webservices (REST ou SOAP).

Apache NiFi Registry.

• Conceitual do NiFi Registry.
• Instalando o NiFi Registry.
• Integrando NiFi ao NiFi. Registry.
• Flow Registry.
• Versionamento do Flow.
• Controle de Acesso no NiFi Registry.

Administração do NiFi.

• Autenticações de Usuário.
• Controle de Políticas de Acesso.
• Criptografia.

NiFi Rest API.

• NiFi Rest API.
• Autenticação.
• Principais endpoints.
• Alterando Data Flows por API.
• Casos de utilização.

Ferramentas e Projetos acessórios.

• NiFi Toolkit.
• Apache miNiFi e IOT.
• Reporting Tasks.

Apache Zookeeper.

• Apache Zookeeper.
• Recursos.
• Arquitetura.
• Data Model.
• Caso de uso.
• Projetos usando Zookeeper.

Configurando e executando um cluster NiFi.

• Cluster Integration.
• Load Balancing/Redundancy.
• Orquestração em massa de NiFi.
• Zookeeper embutido no Apache NiFi.
• Visão geral do Apache NiFi com Docker e Kubernetes.
• Visão geral de Deploy em ambiente gerenciados de Cloud.

Monitoramento e Recovery.

• Recuperando sem perda de dados.
• Recuperação autônoma.

Otimizando o Apache NiFi.

• Performance e Tunning.
• NiFi Setup.
• Práticas de atualização do NiFi em produção.

Desenvolvimento.

• Componentes, eventos e padrões de processador.
• Desenvolvendo um processador Apache NiFi personalizado usando JSON.

Melhores Praticas

• Troubleshooting.
• Teste e solução de problemas.

Pré-requisitos de conhecimento

• Conhecimento básico Linux.
• Conhecimento básico de redes (proxy, gateway,etc).

Requisitos dos alunos

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8 GB.
• Espaço em Disco: 20GB.
• Processador: i5 ou i7 a partir da segunda geração ou similar.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
• Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

• 32 Horas de duração.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache NiFi e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Próxima Turma

Inscrições, Informações e Valores

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache NiFi, e cursos sobre Apache NiFi. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Instrutores