Treinamento Apache Kafka - Fundamental ^Destaque

Sobre o Treinamento

O treinamento fundamental Apache Kafka é voltado para Administradores, desenvolvedores, arquitetos de software e engenheiros de dados que pretendem conhecer o processo de implementação de um streaming de dados distribuído. O treinamento tem diversas atividades práticas simulando uma implantação e integração do Kafka a um ambiente complexo de processamento de dados. Contempla itens voltados a administração, infraestrutura e desenvolvimento. 

Conteúdo Programático

Conceitual

• Streaming.
• Stream X Batch.
• Eventos.
• Dados Distribuídos.
• Real-time Stream.
• CDC – Change Data Capture.
• Projeto Apache Kafka.
• História do Apache Kafka.
• Apache Software Foundation.
• Kafka x RabbitMQ X Spark Stream X Flink Stream.
• Licenciamento (Free Software X Open Source).
• Motivações para usar Streaming.
• Empresas usando Kafka no mundo.
• Empresas usando Kafka no Brasil.
• Versões do Apache Kafka.
• Confluent Plataform.
• Comunidade Apache Kafka no Brasil e no Mundo.
• Livros, sites, documentação e referências.

Instalação do Kafka

• Pré-requisitos
• Instalando Java/JDK.
• Instalando o rodando o Kafka.
• Configurações iniciais do Kafka.

Fundamentos do Kafka

• Producer.
• Kafka Brokers.
• Local Storage.
• Tempo de retenção.
• Política de retenção.
• Poll.
• Kafka Consumers.
• Mensagens.
• Tópicos.
• Particionamentos.
• Segmentos.
• Log.

Kafka Data Model.

• Registro.
• Headers.
• Chave.
• Hash.
• Valor.
• Timestamp.
• Tipos de Dados.
• Serialização de dados.
• Avro, JSON.
• Meta Data (Schema).

Arquitetura do Apache Kafka.

• Kafka Commit Log.
• Replicação e Alta Disponibilidade.
• Particionamento e Consumers Group para Escalabilidade.

Kafka Producers

• Producers Designer.
• Desenvolvendo Produces em Java.
• Configurações.
• Criando Producers.
• Enviando Dados.
• Desenvolvendo Produces em Python.
• Producers via REST.
• Producers via linha de Comando.
• Produce Cache.

Kafka Consumers.

• Desenvolvendo Comsumers em Java.
• consumer.properties.
• Consumer Pull.
• Consumer Offset.
• Consumer Group.
• Leader e Follower.
• Consumers Rebalances

Integrando o Kafka com suas Aplicações.

• REST Proxy.
• Schema Registry.
• Kafka Connect.
• KStreams X KTables.
• Kafka Connect API.
• Kafka Pipeline.
• Kafka Stream.
• Criando Streams.
• Criando Tabelas.
• Kafka Stream API.
• Kafka Streams Data Types.
• Kafka Streams DSL - Stateless Operations.
• Kafka Streams DSL - Aggregation.
• Kafka Streams DSL - Windowed aggregation.
• Kafka Streams DSL - Join.
• Kafka Streams DSL- Summary.
• Filter, Map, Join, Aggregate.
• Subscribe, Poll, Send, Flush.
• ksqlDB.
• Kafka SQL.
• KSQL interagindo com Apache Kafka.
• Microserviços.
• Continuos Querys.
• Continuos Transformations.
• Kafka e Pentaho Data Integration.
• Importação e Exportação de Dados no Kafka.
• Source e Sinks.
• Kafka Java Application.
• Kafka Hadoop Consumer API.

Kafka Cluster

• Zookeeper.
• Fator de Replicação.
• Estratégias de Particionamento.
• Particionamentos customizados.
• Liderança de Partições.
• Load Balancing.
• Testando o Cluster.
• CLI Tools.
• Expandindo seu cluster.
• Incrementando o fator de Replicação

Tópicos Avançados.

• Kafka com Docker e Kubernetes.
• Deploy com arquivo WAR.
• Scalable Data Pipeline.
• Log Compactado.
• Segurança.
• Autenticação e Autorização.
• Criptografia.
• Monitoramento com JMX.

Carga Horária:

• 32 Horas.

Pré-Requisitos:

• Conhecimento Básico em comandos Bash Shell/Linux.
• Conhecimento básico de Java.
• Conhecimento em Java IDE (Eclipse, IntelliJ ou NetBeans).

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8 GB.
• Espaço em Disco: 20 GB.
• Processador: 4 Cores.
• Sistemas Operacionais : GNU/Linux, Windows.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Kafka e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kafka e cursos Kafka. Caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Próxima turma:

Informações e Valores

Instrutor