Treinamento Apache Iceberg

O treinamento em Apache Iceberg tem foco em aprofundar o conhecimento de engenheiros de dados sobre um dos formatos de tabela mais avançados para ambientes de Big Data. Além dos conceitos, vantagens e arquitetura, os profissionais aprenderão a gerenciar tabelas Iceberg, otimizando particionamento, leitura incremental e time travel para seu ambiente de dados. O treinamento abrange desde os fundamentos até técnicas avançadas.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Média.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Apache Iceberg 1.8.1. e foi modificado pela última vez em 1 de Março de 2025.

Conteúdo Programático

Conceitual.

• Introdução a Big Data.
• Arquivos serializados.
• Formato Colunar.
• Data Swamp.
• Datawarehouse X Data Lake X Data Lakehouse.
• O Software Apache Iceberg.
• Motivações do Apache Iceberg.
• Software Livre x Open Source.
• Licenciamento.
• Apache Software Foundation.
• História e evolução do Apache Iceberg.
• Empresas usando Iceberg no Mundo.
• Empresas usando Iceberg no Brasil.
• Comunidade Apache Iceberg.
• Versões do Apache Iceberg.
• Vendedores e Distribuições do Apache Iceberg.

Apache Iceberg

• Arquitetura do Apache Iceberg.
• Vantagens e benefícios do uso do Apache Iceberg.
• Apache Iceberg X Parquet x JSON x CSV x Apache ORC.
• Compreensão dos tipos de dados suportados.
• Metadados: Manifests, Manifest Lists, e Snapshots.
• Suporte a ACID (Atomicidade, Consistência, Isolamento e Durabilidade).
• Estratégias de particionamento oculto.
• Indexação de dados.

Instalando o Apache Iceberg

• Instalação do Apache Iceberg em diferentes ambientes (local, cluster, cloud).
• Configuração inicial e melhores práticas.
• Construção de tabelas Iceberg.

Leitura e escrita do Apache Iceberg.

• Como escrever dados no formato Iceberg usando diversas linguagens (Python, Java, Scala).
• Modos de escrita: Append, Overwrite e Merge.
• Otimização da escrita para grandes volumes de dados.
• Como ler dados Iceberg em diferentes ambientes e linguagens.
• Técnicas de leitura incremental (Read Snapshots, Time Travel).
• Otimização da leitura para consultas eficientes.

Otimização e Desempenho.

• Estratégias para otimizar consultas em tabelas Iceberg.
• Uso de índices e metadados para acelerar leituras.
• Técnicas de compactação e remoção de arquivos órfãos (garbage collection).

Compactação e Particionamento.

• Compactação de dados para reduzir fragmentação de arquivos.
• Particionamento oculto e dinâmico.
• Estratégias avançadas para otimizar particionamento.

Integração com Ferramentas de Big Data.

• Integração do Apache Iceberg com Hadoop, Spark, Flink e Presto.
• Uso do Iceberg em pipelines de dados.
• Configurações específicas para Hive e Spark.

Casos de Uso.

• Estudos de caso sobre o uso do Apache Iceberg em ambientes reais.
• Migração de dados de ORC/Parquet para Apache Iceberg.
• Implementação de time travel e rollback.

Carga Horária.

• 24 Horas.

Pré-Requisitos.

• Conhecimento básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento básico do Ecossistema de Big Data.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Iceberg e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Iceberg e cursos Apache Iceberg . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor