Sobre o Treinamento

O treinamento fundamental em Apache Hadoop prepara profissionais para o mercado de trabalho com Hadoop. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções de Big Data em suas corporações. O mesmo abrange, conceitos , conhecimentos de uso dos softwares, interação programática e atividades práticas.

Calendário de turmas abertas

Conteúdo Programático

Conceitual Big Data

• O que é Big Data?
• Os 4 V's principais do Big Data.
• O Profissional Cientista de Dados / Data Scientist.
• Data Lake.
• IoT - Internet das Coisa e Big Data.
• Ferramentas de Big Data.
• Software Livre X Open Source.
• GPL X BSD/Apache.

Conceitual Apache Hadoop

• Visão geral sobre Hadoop
• Características do Hadoop
• Sistema distribuído de arquivos.
• Ecossistema Hadoop
• Quem usa o Hadoop
• Cases do uso Hadoop
• Uso de Hadware comum.
• Distribuições do Hadoop

Instalação do Apache Hadoop

• Requisitos de Instalação
• Adquirindo os pacotes de Instalação
• Modo de Instalação ( SingleCluster, Distribuid Mode )
• Configuração do Ambiente de Rede
• Configurando Yarn.
• Criando diretórios físicos para o Filesystem
• Formatação do FileSystem
• Inicializando Serviços
• Iniciando o cluster com seus nós
• Testando Processos ativos

HDFS

• Conceitual HDFS.
• HDFS - Hadoop FileSystem.
• HDFS - MapReduce Data Flow.
• HDFS - Arquitetura.
• Comandos de manipulação do FileSystem.
• Copiando arquivos para o FileSystem.
• Listando arquivos no HDFS.
• Criando e Removendo Diretórios.
• Interface Web do HDFS.

MapReduce

• Conceitual Map Reduce.
• MapReduce X Hadoop.
• MapReduce - Função Map.
• MapReduce - Função Reduce.
• Fluxo de Trabalho.
• Executando um MapReduce.
• MapReduce no cluster.
• Configurando a IDE Eclipse para MapReduce.
• Criando um novo MapReduce.

CDH - Cloudera Hadoop

• Usando a Distribuição Cloudera.
• Componentes do CDH.
• Cloudera Hadoop X Apache Hadoop.
• Interface de gerenciamento Web (HUE).

Introdução a outras ferramentas de trabalho

• Hortonworks.
• Apache Mahout.
• Hbase - Banco de dados distribuído orientado a coluna.
• Pig - Plataforma de alto nível para a criação de programas MapReduce.
• Hive - uma infraestrutura de data warehouse sobre o Hadoop.
• Apache Cassandra - Banco de dados distribuído altamente escalável.
• Apache Sqoop.
• Pentaho Data Integration e Hadoop.

Carga Horária:

• 24 Horas.

Pré-Requisitos:

• Conhecimento básico em programação Java.
• Noções de Big Data.
• Conhecimento de banco de dados e SQL
• Conhecimento básico de Linux

Próxima turma prevista, veja também acima no calendário outras cidades.

Inscrições, Informações e Valores

Instrutor

Sobre o Treinamento

Este treinamento é recomendado a técnicos que já conheçam os conceitos e o básicos do Hadoop e queiram ampliar seus conhecimento sobre o Hadoop Database ou HBase que é um banco de dados do ecossistema Hadoop distribuído e colunar. O treinamento pode ser ministrado nas versão open source da Apache ou nas comerciais Cloudera e Hortonworks.

Calendário de turmas abertas

Treinamento somente no formato in-company.

Objetivo

Ministrar os conceitos e técnicas de administração do banco de dados Hbase.

Público Alvo

O Treinamento Hbase destina-se a profissionais analistas de BI, DBAs, Gestores de TI, desenvolvedores de sistemas, Cientistas de dados e Engenheiros de dados.

Conteúdo Programático:

Introdução ao Hadoop

• Introdução ao Hadoop.
• Histórico do projeto Apache Hadoop.
• Características do Hadoop.
• Conceitos fundamentais.
• Componentes do núcleo do Hadoop.
• Ecossistema Hadoop.
• Exemplos de casos de uso.
• Principais empresas que usam Hadoop no Mundo.
• Principais empresas que usam Hadoop no Brasil.
• Apache Software Foundation.

Fundamentos do HBase

• Introdução a NoSQL.
• Introdução a Bancos de Dados Colunares.
• Histórico do HBase.
• Características do HBase.
• HBase e RDBMS.
• SQL X NoSQL.
• Arquitetura do HBase.
• HBase Shell.
• HBase DDL e DML.
• Table, RowKey, Family, Column e Timestamp.
• Hbase Regions.
• Data Storage.
• Zookepper.
• Criando e Manipulando um Banco de Dados HBase.
• HBase Schema.
• HBase Data Model.
• HBase schemas.
• Hbase timestamp.
• HBase cell.
• HBase Familias.
• Armazenamento de dados eficiente e recuperação
• Melhores práticas para desempenho
• Comandos de manipulação

HBase Shell

• Criando tabelas com HBase Shell.
• Trabalhando com tabelas.
• Trabalhando com dados da tabela.

HBase API.

• Opções para acessar os dados do HBase.
• Criando e deletando tabelas no HBase.
• Get e Scan.
• Inserindo e atualizando dados.
• Excluindo dados.
• Filtros scan.
• Melhores práticas.
• HBase e Java
• Conectando ao HBase com Java
• Java API.

HBase no cluster

• O uso do HDFS.
• Compactações e splits.
• Mapreduce e Cluster HBase.
• Instalação do HBase.
• Configurar um cluster HBase.
• Administrar um cluster HBase.
• HBase daemons.

HBase Cluster

• Family.
• Schema.
• Caching.
• Times Series.
• Sequencial.
• Pre-Splitting Regions.

HBase Avançado

• Replicação no HBase.
• HBase backup.
• Segurança no HBase.
• Serviços HBase.
• Corrigindo tabelas com Hbck.
• Hive e Impala com Hbase.
• Thrift.
• Outras Bibliotecas de acesso.
• HBase Rest Server.
• Backup

Pré-requisitos de Conhecimento

• Conhecimento básico banco de dados.
• Conhecimento em SQL ANSI.

Requisitos dos Alunos

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8GB (Caso queira o treinamento em Hortonworks deve ter 16GB de RAM)
• Espaço em Disco: 20GB.
• Processador: i5 ou i7 a partir da segunda geração ou similar.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
• Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

• 32 Horas de Duração.
• 100% Presencial

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache HBase e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos HBase, e cursos sobre HBase. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

Sobre o Treinamento

Este treinamento é recomendado a técnicos que já conheçam os conceitos e o básicos do Hadoop e queiram ampliar seus conhecimento sobre o Hadoop Database ou HBase que é um banco de dados do ecossistema Hadoop distribuído e colunar. O treinamento pode ser ministrado nas versão open source da Apache ou nas comerciais Cloudera e Hortonworks.

O treinamento Administrador Apache Hadoop prepara o aluno para ser capaz de customizar a utilização, ajustar performance, prestar suporte e resolver problemas relacionados aos produtos, dominando elementos de monitoramento de cluster, governança, segurança e solução de problemas. Compreender a abrangência de todas as medidas necessárias para operar e manter um Cluster Hadoop. Desde a instalação e configuração por meio do balanceamento de carga e tunning, e autorizar usuários a uso de cluster. Saber Dimensionar e implementar vários cluster Hadoop, saber acelerar seu funcionamento e quais ferramentas e técnicas melhoram o desempenho, de forma a ajustar a performance. Estar apto a prestar suporte e resolver problemas relacionados aos produtos, fazer backups e gestão de recuperação de desastres, configurar HDFS de alta disponibilidade, adicionar um novo serviço, além de implementar medidas de segurança e funcionalidade multi-usuário.

Calendário de turmas

Treinamento somente no formato in-company.

Objetivo

Ministrar os conceitos e técnicas de administração de um cluster Hadoop.

Público Alvo

O Treinamento Administrador Hadoop destina-se a profissionais Administradores de sistemas, Cientistas de dados e Engenheiros de dados.

Conteúdo Programático:

Introdução ao Hadoop

• Introdução ao Hadoop.
• Histórico do projeto Apache Hadoop.
• Características do Hadoop.
• Conceitos fundamentais.
• Componentes do núcleo do Hadoop.
• Ecossistema Hadoop.
• Exemplos de casos de uso.
• Principais empresas que usam Hadoop no Mundo.
• Principais empresas que usam Hadoop no Brasil.
• Apache Software Foundation.

HDFS – Hadoop File System.

• Arquitetura do HDFS.
• Características do HDFS.
• Escrevendo e lendo arquivos.
• Considerações ao NameNode.
• Segurança no HDFS.
• Usando Interface Web do NameNode.
• Usando o Shell Hadoop.
• Inserindo dados de fontes externas com flume.
• Inserindo dados de banco de dados relacionais com Sqoop.
• Interfaces REST.
• Melhores praticas de Importação de dados.

YARN e MapReduce.

• Conceitual sobre YARN e MapReduce.
• Conceitos Básicos de MapReduce.
• Cluster YARN.
• Recuperação de falha.
• Usando Interface Web YARN.

Planejando o Cluster Hadoop.

• Considerações gerais.
• Seleção de Hardware.
• Considerações de Rede.
• Configuração de Nodes.
• Planejando o gerenciamento do Cluster.

Instalação e configurações Hadoop.

• Requisitos de instalação.
• Pacotes de instalação.
• Modo de Instalação (SingleCluster, DistribuidMode).
• Configuração do ambiente de rede.
• Clusterizando o Hadoop.
• Configuração inicial de Performance do HDFS.
• Configuração inicial de Performance do YARN.
• Logs no Hadoop.

Instalação e Configurando o Ecossistema.

• Instalando o Apache Hive.
• Instalando Impala (Somente em Cloudera).
• Instalando Apache Pig.
• Instalando Apache HBase.
• Instalando Apache Spark.

Aplicações Clientes Hadoop.

• Introdução a aplicações Clientes Hadoop.
• Introdução ao HUE.
• Instalação e Configuração do Hue.
• Instalando e Configurando HUE.
• HUE autenticação e autorização

Segurança Hadoop.

• Conceitos de Segurança no Hadoop.
• Introdução ao Kerberos.
• Segurança no Cluster Hadoop com Kerberos.

Gerenciando com Hadoop Ambari (Apache e Hortonworks).

• Introdução ao Ambari.
• Características do Ambari.
• Gerenciando um Cluster Hadoop.
• Monitorando um Cluster Hadoop.

Gerenciando com Cloudera Manager (Somente Cloudera).

• Introdução ao Cloudera Manager.
• Características do Cloudera Managament.
• Gerenciando um Cluster Hadoop.
• Monitorando um Cluster Hadoop.

Hadoop Cluster.

• Parâmetros de Configuração.
• Configurando as Portas do Hadoop.
• Configurando o HDFS para alta disponibilidade.

Gerenciando e Agendando Jobs.

• Gerenciando e Rodando Jobs.
• Agendando Jobs Hadoop.
• Impala Query Schedule.

Manutenção do Cluster.

• HDFS Status.
• Copiando dados entre Clusters.
• Balanceamento de Clusters.
• Tunning
• Atualização do Cluster

Pré-requisitos de Conhecimento

• Conhecimento básico Linux.
• Conhecimento básico de redes (proxy, gateway,etc)

Requisitos dos Alunos

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 12GB (Caso queira o treinamento em Hortonworks deve ter 16GB de RAM)
• Espaço em Disco: 20GB.
• Processador: i5 ou i7 a partir da segunda geração ou similar.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
• Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

• 32 Horas de Duração.
• 100% Presencial

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Hadoop e acessórios na sua última versão estável (no caso de Cloudera os alunos devem baixar o Cloudera QuickStart VMs).
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Administrador Hadoop, e cursos sobre Administrador Hadoop. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor