Data Integration

Treinamento Pentaho Data Integration - Kettle - ETL Open Source Destaque

Sobre o Treinamento

O treinamento é recomendado a profissionais que busca maximizar seus conhecimentos em processos de ETL (do inglês Extract, Transform e Load). O Pentaho Data Integration (também conhecido por seu codinome Kettle) é uma poderosa ferramentas para transformações de dados (ETL), com o PDI (Pentaho Data Integration) você pode fazer tarefas como migração de dados, transformação de dados, conversões de sistemas ou carga de bancos de dados, além de tarefas avançadas como transferência de arquivos, envios de e-mails, integração com webservices (SOAP ou REST) e programações de scripts com schedules.

Todo o treinamento utiliza a versão Community Edition e pode ser interpretado como uma transferência de tecnologia para os participantes do curso.

Calendário de turmas abertas

  1. Curitiba
  • Data: - -
  • Local: Sede da Ambiente Livre
  • Contato
next
prev

Objetivo

Ministrar as principais funcionalidades e técnicas do Pentaho Data Integration (Kettle) para a geração transformação de dados.

Público Alvo

Desenvolvedores de ETL, Engenheiro de dados, Analistas de Negócio, Analistas de Business Intelligence, DBAs, desenvolvedores de sistemas, analistas de suporte.

Conteúdo Programático:

Conceitual:

  • Introdução a Business Intelligence.
  • Introdução a Datawarehouse.
  • O que é ETL ?  (Extração , Transformação e Carga).
  • Histórico do Pentaho Data Integration (Kettle).
  • A Suíte Pentaho.
  • Diferenças de versão Community Edition X Enterprise Edition.
  • Introdução a Data Staging.

Instalação - Pentaho Data Integration

  • Instalação do Pentaho Data Integration (Linux,Windows e MacOS).
  • Ambiente Server (Produção e Desenvolvimento ).

PDI - Pentaho Data Integration - Fundamentos

  • Componentes do Pentaho Data Integration (Kettle).
  • Spoon.
  • Pan.
  • kitchen.
  • Carte.
  • Steps e Hops.
  • Transformação de dados.
  • Transformando dados em bases de dados Dimensionais (OLAP).
  • Populando Tabelas (Dimensões e Fatos).
  • Integração entre Sistemas Transacionais.
  • Trabalhando com Merge de dados.
  • Trabalhando com constantes.
  • Explorando componentes.
  • Enviando e-mails.
  • Trabalhando com Jobs.

Trabalhando com Planilhas e Arquivos Texto

  • Transformando Planinhas em bases de dados SQL.
  • Transformando Base de Dados SQL em Planinhas.
  • Transformando arquivos texto em bases de dados SQL
  • Transformando Base de dados SQL em arquivos Texto (posicional ou delimitado)

Steps Complementares e Avançados

  • Steps de Input (Get System info ,get File Names, OLAP Input ,Email messages input).
  • Steps de Transformação ( Row denormaliser , Row flattener ,Row Normaliser ,Split field to Rows, Split Fields).
  • Steps Utility ( Clone Row , If field value is null, Run SSH commands).
  • Steps Lookup ( Call DB procedure, Check if a column exists, check if file is locked, Database Join, Database lookup, File Exists).
  • Steps Joins ( Join Rows ( cartesian product ), Merge rows (diff), Sorted Merge , XML Join).
  • Steps Experimentais (Script Javascript , Script Python).
  • Steps Jobs – Utility (ping a Host, Truncate tables).
  • Steps Jobs – Mail ( Get mails POP3/IMAP).
  • Steps File management ( Copy Files, create file, create a folder, file comparate, delete files, delete folters, Zip file).
  • Steps Condition ( Check DB connection, Check webservice availability).
  • Steps Scripting (Javascript, Shell, SQL)
  • Steps XML (DTD Validation).
  • Steps File Transfer (FTP delete, Get a file with FTP, Get a file with SFTP, Upload files to FTPS, SSH2 Get, SSH2 Put).

PDI - WebServices e HTTP

  • Acesso a WebServices com Web services lookup (SOAP).
  • Acesso a WebServices REST com step Rest Client.
  • Gerando JSON para envio por REST com os steps JSON Output e JavaScript.
  • Chamadas HTTP por URL com step HTTP Client.
  • Chamadas submit via Post/HTTP com o step HTTP Post.

PDI – Automatizando Jobs e Transformações

  • Automatizando Jobs e Transformações via agendador (Schedulers no Linux e Windows).
  • Passando Parâmetros via linha de comando.
  • Passagem de parâmetro entre transformações e Jobs.
  • Trabalhando com Logs.

Pentaho e Big Data - OverView

  • Overview Conceitual de Big Data.
  • Overview Pentaho Data Integration e seus componentes para Big Data.
  • Overview Orquestração do Big Data com Pentaho.

 

Pré-Requisitos

  • Conhecimento básico em lógica de programação.
  • Conhecimento básico banco de dados.
  • Conhecimento em SQL ANSI.

Requisitos dos Alunos

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM : 4GB
  • Espaço em Disco: 5GB
  • Processador: Dual-core AMD 64, EM64T
  • Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.

Carga Horária

  • 16 Horas de Duração
  • 100% Presencial

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Pentaho CE e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações ( slides do treinamento ) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

 

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

 

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Pentaho e cursos Pentaho. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.


A marca Pentaho é uma marca registrada pelos seus respectivos proprietários.

  • Data: - -
  • Local: Sede da Ambiente Livre
  • Contato
 

Instrutor

Marcio Junior Vieira

  • 19 anos de experiência em informática, vivência em desenvolvimento e análise de sistemas de gestão empresarial e ciência de dados.
  • CEO da Ambiente Livre atuando como Cientista de Dados e Arquiteto de Software.
  • Professor dos MBAs em Big Data & Data Science, Inteligência Artificial e Business Intelligence da Universidade Positivo.
  • Professor de BPM no MBA de Business Intelligence da Universidade Positivo.
  • Professor do MBA Artificial Intelligence e Machine Learning da FIAP.
  • Professor da Pós-Graduação em Big Data e Data Science da UniBrasil.
  • Trabalhando com Free Software e Open Source desde 2000 com serviços de consultoria e treinamento.
  • Graduado em Tecnologia em Informática(2004) e pós-graduado em Software Livre(2005) ambos pela UFPR.
  • Palestrante FLOSS em: FISL, The Developes Conference, Latinoware, Campus Party, Pentaho Day, Ticnova e FTSL.
  • Organizador Geral: Pentaho Day 2017, 2015, 2019 e apoio nas ed. 2013 e 2014.
  • Data Scientist, instrutor e consultor de Big Data e Data Science com tecnologias abertas.
  • Ajudou a capacitar equipes de Big Data na IBM, Accenture, Tivit, Serpro, Natura, MP, Netshoes, Embraer entre outras.
  • Especialista em implantação e customização de Big Data com Hadoop, Spark, Pentaho, Cassandra.
  • Contribuidor de projetos open sources ou free software internacionais, tais como Pentaho, LimeSurvey, SuiteCRM e Camunda.
  • Especialista em implantação e customização de ECM com Alfresco e BPM com Activiti, Flowable e Camunda.
  • Certificado (Certified Pentaho Solutions) pela Hitachi Vantara (Pentaho).
  • Membro da The Order Of de Bee (membros da comunidade Alfresco trabalhando para desenvolver o ecossistema Alfresco independente)

Log in