Treinamento Apache Polaris

Sobre o Treinamento

O Apache Polaris é o catálogo open source de referência para Apache Iceberg, criado por Snowflake e Dremio e hoje mantido pela Apache Software Foundation como Top-Level Project. Ele implementa a especificação REST do Iceberg, permitindo que múltiplos engines — Apache Spark, Trino, Apache Flink, Dremio, StarRocks e Apache Doris, leiam e escrevam nas mesmas tabelas sob um único plano de governança, sem lock-in de um fornecedor específico. Este treinamento leva profissionais de dados do zero em Polaris até a operação avançada em produção, cobrindo controle de acesso, federação de catálogos externos, integração multi-engine e os tópicos mais recentes da comunidade, como governança de acesso para agentes de IA no lakehouse.

O que vou aprender?

Ao final deste treinamento você será capaz de:

• Como implantar e configurar o Apache Polaris do zero.
• Como estruturar controle de acesso (RBAC) e credential vending de forma segura.
• Como integrar múltiplos engines (Spark, Trino e outros) a um mesmo lakehouse governado.
• Como federar catálogos externos (Glue, Hive Metastore, Unity Catalog) sob um único plano de governança.
• Como operar o Polaris em produção: alta disponibilidade, backup, upgrade e observabilidade.
• Como se posicionar em relação a temas emergentes, como governança de acesso de agentes de IA ao lakehouse.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Alta.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Apache Polaris 1.7.0 e foi modificado pela última vez em 15 de Setembro de 2026

Conteúdo Programático.

Módulo 1: Fundamentos do Apache Polaris

Perfil de Público: Engenheiros de Dados, Arquitetos de Dados e demais membros do time de dados com base em Big Data/Lakehouse.
Foco: Conceitos, arquitetura e primeiro ambiente prático — sem pré-requisito de experiência prévia com Polaris.
Carga Horária do Módulo: 8 Horas.

Conceitual e Panorama.

• O que é o Apache Polaris: histórico, doação à ASF e graduação a Top-Level Project.
• Papel do catálogo na arquitetura Iceberg: metadata pointer e o protocolo REST Catalog.
• Catálogos internos x catálogos externos: quando o Polaris gerencia os metadados diretamente e quando ele aponta para catálogos de terceiros (Nessie, Gravitino, Unity Catalog).
• Panorama comparativo: Polaris x Unity Catalog x Nessie x Hive Metastore x AWS Glue x Lakekeeper x Apache Gravitino.
• Empresas usuárias de Apache Polaris no Brasil.
• Empresas usuárias de Apache Polaris no mundo.
• Licenciamento do Apache Polaris: Apache 2.0, governança ASF e a distinção frente a ofertas comerciais (Snowflake Open Catalog, Dremio).

Arquitetura e Conceitos Centrais.

• Arquitetura de componentes: Catalog Server, camada de persistência, módulo de autorização.
• Conceitos: Catalogs, Namespaces, Tables, Views, Generic Tables.
• Backends de persistência suportados: JDBC (PostgreSQL, CockroachDB) e EclipseLink.

Instalação e configurações.

• Instalação local via Docker/Docker Compose.
• Configuração de storage: MinIO e Ceph.
• Overview Storage: S3 AWS, Azure Blob e Google Cloud Storage.
• Criando catálogo, namespace e tabela via CLI/UI.

Módulo 2: Operação, Segurança e Integração Multi-Engine.

Perfil de Público: Engenheiros de Dados e Desenvolvedores responsáveis por pipelines e integração de engines.
Foco: Controle de acesso, credential vending e conexão prática com engines de processamento
Carga Horária do Módulo: 14 Horas.

Segurança e Controle de Acesso.

• Modelo de RBAC do Polaris: Principals, Roles, Catalog Roles, Grants.
• Autenticação via OAuth2 e integração com IdP externo (overview + prática com uma fonte).
• Credential Vending: como o Polaris entrega credenciais de storage escopadas por sessão/engine.

Integração Multi-Engine

• Apache Spark: configuração do REST Catalog e prática completa.
• Trino: configuração e prática completa.
• Overview: Apache Flink, Dremio, StarRocks e Apache Doris.

Modelagem Avançada de Metadados.

• Iceberg SQL Views no Polaris: criação e versionamento.
• Generic Tables: o que são e quando usar para ativos não-Iceberg.
• Organização multi-tenant com namespaces aninhados.
• Tags e propriedades customizadas para governança de metadados.

Módulo 3: Arquitetura Avançada, Federação e Produção.

Perfil de Público: Engenheiros e Arquitetos de Dados responsáveis pela operação da plataforma de dados.
Foco: Federação de catálogos, produção, segurança avançada e tópicos emergentes.
Carga Horária do Módulo: 10 Horas.

Federação e Multi-Tenancy.

• Catalog Federation: Polaris como "catálogo de catálogos", registrando Glue, Hive Metastore, Unity Catalog e outros REST catalogs externos.
• Multi-tenancy avançada: chaves de criptografia e identidades IAM segregadas por catálogo.

Produção e Operação.

• Deploy em produção: Kubernetes e Helm.
• Estratégia de backup, disaster recovery e upgrade de versão.
• Troubleshooting e ajuste de performance.

Segurança Avançada e Observabilidade.

• Integração com Open Policy Agent (OPA) para políticas de autorização centralizadas.
• Integração real com IdP corporativo e auditoria de acesso.
• Observabilidade: Iceberg Metrics Reporting, métricas e health checks.

Fronteiras: IA e Comunidade.

• Governança de acesso de agentes de IA ao lakehouse — proposta "Table Sources" e o caminho para analytics governado por IA.
• Estudo de caso: arquitetura multi-engine real (Spark + Trino compartilhando o mesmo lakehouse via Polaris).
• Roadmap do projeto e como contribuir com a comunidade Apache Polaris.

Carga Horária:

• 32 Horas de duração.
• Resumo de carga horária modular
  • Módulo 1 (Fundamentos): 8 Horas
  • Módulo 2 (Operação/Segurança/Multi-Engine): 14 Horas
  • Módulo 3 (Avançado/Federação/Produção): 10 Horas

Pré-Requisitos:

• Conhecimento de Big Data, Data Lake e arquitetura Lakehouse.
• Comandos e servidores Linux.
• Noções de SQL e familiaridade com pelo menos um engine de processamento (Spark, Trino ou Flink).
• Módulo 3: noções de Docker e Kubernetes.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para Online ter uma boa conectividade com a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisito mínimo de hardware.

• Memória RAM : 12GB.
• Espaço em Disco: 35GB.
• Processador: Quad-core 64 bits, com suporte a virtualização (VT-x/AMD-V habilitado na BIOS).
• Sistemas Operacionais: GNU/Linux, Windows ou MacOs* (arquitetura x86).
• VirtualBox (última versão estável).

* Notebooks Apple Silicon (M1/M2/M3/M4) não são compatíveis com a VM fornecida, recomendamos notebook com processador Intel/AMD para este treinamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Polaris e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamento Apache Polaris e Cursos Apache Polaris. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor