Treinamento Apache Atlas
Sobre o Treinamento
O Apache Atlas é uma solução de governança de dados para o ecossistema Hadoop, permitindo a catalogação, classificação e rastreamento de metadados em ambientes de Big Data. Este treinamento fundamental em Apache Atlas prepara profissionais para explorar e utilizar eficientemente suas ferramentas para gerenciar linhagem de dados, garantir conformidade e facilitar a descoberta de informações. O conteúdo programático foi desenvolvido para capacitar os participantes a dominar as técnicas essenciais necessárias para implementar uma governança de dados robusta e eficaz.
Calendário de turmas.
Somente no modelo corporativo no momento.
Dificuldade: Alta.
Aplicabilidade.
Este treinamento foi desenvolvido usando o Apache Atlas 2.4.0. e foi modificado pela última vez em 2 de Março de 2025.
Conteúdo Programático.
Conceitual Apache Atlas.
- Introdução à Governança de Dados.
- O que é o Apache Atlas?
- Apache Atlas no Ecossistema de Big Data.
- Integração com Apache Hadoop, Hive, Spark, Kafka
- Casos de Uso: Linhagem de Dados, Catálogo de Metadados, Controle de Acesso
- Comparativo: Apache Atlas X Collibra X Amundsen
Instalação do Apache Atlas.
- Requisitos de Sistema.
- Instalando o Apache Atlas standalone.
- Configuração inicial.
- Iniciando o servidor Atlas.
- Verificando logs e diagnósticos.
- Carregando dados de exemplo.
Fundamentos do Apache Atlas.
- Arquitetura do Apache Atlas.
- Componentes principais: Metadata Server, Kafka, JanusGraph.
- Tipos de Metadados: Técnico, Empresarial, Operacional.
- Introdução ao Modelo de Entidade (Entity, Type, Classification)
- UI do Apache Atlas: Navegação e Recursos.
Modelagem de Metadados.
- Introdução à Modelagem de Metadados.
- Definição de Tipos e Entidades.
- Entity
- Relationship.
- Classification.
- Classification Propagation.
- Attributes.
- Data Lineage.
- Criando e editando tipos personalizados.
- Relacionamentos e Heranças.
- Trabalhando com Linhagem de Dados.
- Importação de Modelos de Metadados.
Indexação e Pesquisa.
- Introdução à Pesquisa no Apache Atlas.
- Uso da linguagem DSL (Domain-Specific Language).
- Pesquisa por entidades, classificações e relacionamentos.
- Filtros avançados: wildcards, intervalos, operadores.
- Busca em grandes catálogos de dados.
- Integração com Apache Solr/Elasticsearch.
Configurações do Apache Atlas
- Configurações Básicas: atlas-application.properties.
- Configuração de Banco de Dados: JanusGraph e HBase.
- Integração com Kafka: Atualizações de Metadados em tempo real.
- Configuração de Segurança: Autenticação e Autorização.
- Auditoria: Habilitando e gerenciando logs de auditoria
Integração com Big Data
- Apache Atlas + Apache Hive: Linhagem de tabelas e colunas.
- Apache Atlas + Apache Spark: Monitoramento de pipelines.
- Apache Atlas + Apache Kafka: Rastreabilidade de eventos.
- Apache Atlas + HDFS: Metadados de arquivos distribuídos.
- Webhooks: Recebendo eventos personalizados.
APIs do Apache Atlas.
- Introdução às APIs REST do Apache Atlas.
- Autenticação e Tokens.
- Criando, atualizando e deletando entidades via API
- Consultas via API: busca de metadados.
- Exemplo prático: Criando um catálogo de dados automatizado.
Apache Atlas e Java
- Visão Geral da Integração com Java.
- Configuração do ambiente (Maven, Gradle).
- Uso do Atlas Client API.
- Criando e atualizando entidades via código.
- Exemplos práticos: automação de processos.
Monitoramento
- Monitoramento do Apache Atlas: Métricas e Logs.
- Troubleshooting: Diagnóstico de erros comuns.
- Backup e Restore de Metadados.
- Estratégias de otimização para catálogos grandes.
- Melhores práticas de governança de dados.
Carga Horária:
- 24 Horas de duração.
MODALIDADES DE TREINAMENTO
- Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
- On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
- In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.
Pré-Requisitos:
- Conhecimento de comandos e servidores Linux.
- Conhecimento básico no ecossistema de Big Data.
Requisitos:
- Todos os participantes devem trazer um notebook para realizar as atividades práticas.
- O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
- Para Online ter uma boa conectividade com a Internet.
- Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.
Requisitos mínimos de hardware
- Memória RAM : 8GB
- Espaço em Disco: 20GB
- Processador: Dual-core AMD 64, EM64T
- Sistemas Operacionais: GNU/Linux, Windows.
- VirtualBox.
Material
Serão disponibilizados os seguintes materiais aos alunos do treinamento:
- Todos os softwares Apache Atlas e acessórios na sua última versão estável.
- Material próprio em Português do Brasil.
- Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
- Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
- Apostilas com exercícios práticos desenvolvidos no treinamento.
- Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
Metodologia
- Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.
Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Atlas e cursos Apache Atlas. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.
Diferenciais da Ambiente Livre.
A Ambiente Livre tem 22 anos no mercado, pioneirismo na oferta de consultoria, treinamentos, projetos e suporte em softwares de código-fonte aberto e software livre com um ecossistema voltado a negócios, e pode lhe ajudar a gerir complexidades, reduzir custos, permitindo adaptar e oferecer inovação inteligente necessária para o seu sucesso.
5.007 profissionais capacitados em 399 turmas ministradas.
Atuação global, 845 empresas impactadas em projetos, consultorias e treinamentos no Brasil, América Latina, Europa e África.
Networking entre profissionais, comunidades e startups de tecnologias Open Source e Free Software.
Treinamentos baseados em experiência de projetos e consultorias, 2.980 tutorais documentados, atualizados e disponibilizado de forma vitalícia em EAD.
Empresa 100% focada em Open Source e Free Software e contribuidora com equipe atuante nos projetos e eventos de código aberto e software livre.
Apoio na criação de 4 startups / Spin-off baseadas em soluções Open Source ou Free Software.