O curso ou treinamento Apache Spark com Databricks foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Spark da DataBricks na AWS (Amazon Web Services), Microsoft Azure ou Google Cloud, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Scala e o Framework Apache Spark. Entender as principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Spark e interações com outros projetos do ecossistema DataBricks necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.

Turmas Somente inCompany

Conteúdo Programático

Conceitual Big Data e Databricks

• Visão geral sobre Databricks.
• Databricks Plataform.
• Databricks Community X Databricks Premium.
• Ecossistema Databricks.
• Quem usa o Databricks.
• Cases do uso Databricks.
• Free Software(GLP) X Open Source(BSD e Apache).
• Delta Lake.
• Databricks na AWS.
• Databricks na Azure (Azure Databricks).
• Databricks Community.
• change data capture (CDC).
• Data engineering.
• Scala X Python.

Cluster na Cloud.

• Configurando o Ambiente na Azure.
• Databricks Job scheduling.
• Deploy Structured Streaming.

Notebooks.

• Apache Zeppelin.
• Interpreters.
• Markdown.
• Databricks Notebook.

Introdução a Linguagem Scala

• Apresentando o Scala.
• Instalando Scala.
• Journey - Java para Scala
• First Dive -  Interactive Scala.
• Escrevendo scripts Scala - Compilando Programas Scala.
• Basico em Scala.
• Tipos Básicos Scala.
• Definindo Funções.
• IDE para Scala.
• Scala Community.

Linguagem Scala.

• Imutabilidade em Scala - Semicolons.
• Declaração método.
• Literais.
• Listas.
• Tuplas.
• Opções.
• Maps.
• Palavras reservadas.
• Operadores.
• Regras de precedência.
• If Statements.
• Scala Para Compreensão.
• While Loops, Do-While Loops.
• Operadores condicionais.
• Pattern Matching.
• Enumerações.
• Traits Intro - Traits as Mixins.
• Stackable Traits.
• Criando Traits e OOPS - Classes and Objetos Básicos.
• Construtores Scala.
• Nested Classes.
• Visibility Rules.

Programação Funcional em Scala.

• O que é programação funcional?
• Literais funcionais e Closures.
• Recursão.
• Tail Calls.
• Estruturas de Dados Funcionais.
• Parâmetros das Funções implícitas.
• Chamada por nome.
• Chamada por Valor.

Apache Spark no DataBricks.

• Invocando Spark Shell.
• Criando o Contexto Spark.
• Carregando um arquivo no Shell.
• Realizando algumas operações básicas em arquivos em Spark Shell.
• Construindo um Projeto com sbt.
• Executando o Projecto Spark com sbt.
• Caching Overview, Persistência Distribuído.
• Spark  Streaming Overview.
• Exemplo: Streaming Word Count.

RDD - Resilient Distributed Dataset no Databricks.

• Transformações no RDD.
• Ações em RDD.
• Carregando dados em RDD.
• Salvando dados através RDD.
• Key-Value Pair RDD.
• MapReduce e Operações RDD Pair.
• Integração Scala e Hadoop.
• Arquivos de seqüência.
• Usando Partitioner e seu impacto na melhoria do desempenho.

SparkSQL e Dataframe no Databricks.

• Dataframe.
• SparkSQL
• DataSets.
• SparkSQL API.

Armazenamento

• Databricks File System - DBFS.
• Databricks IO Cache.
• Amazon S3.
• Trabalhando arquivos CSV com Spark.
• Trabalhando arquivos JSON com Spark.
• Trabalhando arquivos XML com Spark.
• Introdução ao Apache Parquet.
• Trabalhando com arquivos Parquet.

Apache Streaming e Delta

• Spark Structured Streaming.
• Spark Streaming Transformations.
• Streaming Windows Transformations.
• Create Dataframes.
• Save DataFrames.
• Tables and DataFrames.
• Event Stream Processing (ESP).
• Complex Event Processing (CEP).

Gerais

• Visualizations.
• SparkML.

Carga Horária:

• 32 Horas.

Pré-requisitos dos Participantes:

• Todos alunos devem ter uma conta no Azure.
  
• Conhecimento alguma linguagem de programação.
• Noções de Big Data.
• Conhecimento de Banco de Dados e SQL.
• Conhecimento Básico de Linux.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM : 8GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• deve estar ativo a Virtualização na BIOS do equipamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Inscrições, Informações e Valores

Instrutor

O curso ou treinamento Databricks Plataform com PySpark foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Spark da DataBricks na AWS (Amazon Web Services), Microsoft Azure ou Google Cloud, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Python e o Framework Apache Spark. Entender as principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Spark e interações com outros projetos do ecossistema DataBricks necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.

Turmas Somente inCompany

Conteúdo Programático

Conceitual Big Data e Databricks

• Visão geral sobre Databricks.
• Databricks Plataform.
• Databricks Community X Databricks Premium.
• Ecossistema Databricks.
• Quem usa o Databricks.
• Cases do uso Databricks.
• Free Software(GLP) X Open Source(BSD e Apache).
• Delta Lake.
• Databricks na AWS.
• Databricks na Azure (Azure Databricks).
• Databricks Community.
• change data capture (CDC).
• Data engineering.
• Scala X Python.

Cluster na Cloud.

• Configurando o Ambiente na Azure.
• Databricks Job scheduling.
• Deploy Structured Streaming.

Notebooks.

• Apache Zeppelin.
• Interpreters.
• Markdown.
• Databricks Notebook.

Introdução a Linguagem Python

• O que é Python?
• Apresentando Python.
• Instalando Python.
• Escrevendo scripts Python
• Basico em Python.
• Tipos Básicos Python.
• Definindo Funções.
• IDE para Python.

Programando em Python e Jython

• Declaração método.
• Literais.
• Listas.
• Tuplas.
• Opções.
• Maps.
• Palavras reservadas.
• Operadores.
• Regras de precedência.
• If, While Loops, Do-While Loops.
• Operadores condicionais.
• Pattern Matching.
• Enumerações.

Programação Funcional em Python

• O que é programação funcional?
• Literais funcionais e Closures.
• Recursão.
• Tail Calls.
• Estruturas de Dados Funcionais.
• Parâmetros das Funções implícitas.
• Chamada por nome.
• Chamada por Valor.

Apache Spark no DataBricks.

• Invocando Spark Shell.
• Criando o Contexto Spark.
• Carregando um arquivo no Shell.
• Realizando algumas operações básicas em arquivos em Spark Shell.
• Construindo um Projeto com sbt.
• Executando o Projecto Spark com sbt.
• Caching Overview, Persistência Distribuído.
• Spark  Streaming Overview.
• Exemplo: Streaming Word Count.

RDD - Resilient Distributed Dataset no Databricks.

• Transformações no RDD.
• Ações em RDD.
• Carregando dados em RDD.
• Salvando dados através RDD.
• Key-Value Pair RDD.
• MapReduce e Operações RDD Pair.
• Integração Scala e Hadoop.
• Arquivos de seqüência.
• Usando Partitioner e seu impacto na melhoria do desempenho.

SparkSQL e Dataframe no Databricks.

• Dataframe.
• SparkSQL
• DataSets.
• SparkSQL API.

Armazenamento

• Databricks File System - DBFS.
• Databricks IO Cache.
• Amazon S3.
• Trabalhando arquivos CSV com Spark.
• Trabalhando arquivos JSON com Spark.
• Trabalhando arquivos XML com Spark.
• Introdução ao Apache Parquet.
• Trabalhando com arquivos Parquet.

Apache Streaming e Delta

• Spark Structured Streaming.
• Spark Streaming Transformations.
• Streaming Windows Transformations.
• Create Dataframes.
• Save DataFrames.
• Tables and DataFrames.
• Event Stream Processing (ESP).
• Complex Event Processing (CEP).

Gerais

• Visualizations.
• SparkML.

Carga Horária:

• 32 Horas.

Pré-requisitos dos Participantes:

• Conhecimento alguma linguagem de programação.
• Noções de Big Data.
• Conhecimento de Banco de Dados e SQL.
• Conhecimento básico de Linux.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM : 8GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• deve estar ativo a Virtualização na BIOS do equipamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

Sobre o Treinamento / Curso

O treinamento fundamental em Apache Zeppelin é voltado para Data Scientists (Cientistas de dados) que pretendem conhecer o potencial que uma ferramenta de Notebook nas atividades de um cientista de dados, proporcionando conhecimentos para uso no dia dia de trabalho com dados em ambientes de Big Data, Machine Learning, Inteligência Artificial e Data Science na exploração e analise dos dados.

Modalidades de Treinamento e Valores

• EAD - Cadastre-se na Plataforma de EAD, pague com cartão de crédito via Paypal e tenha acesso instantâneo a todos vídeo aulas, slides, exercícios e softwares (pode assistir em seu computador ou celular). De R$ 270,00  Promocionalmente em lançamento por R$ 90,00.
  Gostaria de pagar de outra forma (Faturado, Boleto, Nota de Empenho, etc)? Solicite contato comercial.
• Remoto ao Vivo - Aulas por salas virtuais ao vivo com nossos instrutores(Hangout, Skype, etc). Solicite proposta comercial.
• Presencial - Nosso instrutor vai até você e ministra junto a sua equipe. Solicite proposta comercial.

Conteúdo Programático

Introdução.

• Introdução ao Apache Zeppelin.
• O que é um interpreter.
• Integração com Apache Spark.
• Visualização de dados.
• Pivot.
• Formulários dinâmicos.
• Notes e parágrafos.

Interpreters.

• Markdown Interpreter.
• JDBC Interpreter.
• Hive Interpreter.
• Shell Interpreter.
• Spark Interpreter.

Instalando o Ambiente.

• Adquirindo VM da Hortonworks - HDP.
• Instalando a VM da Hortonworks - HDP.
• Instalando uma VM Hortonworks Sandbox na Cloud Microsoft Azure.

Criando Notes com Apache Hive.

• Criando Notes com o interpreter JDBC/Hive.
• Utilizando SQL Like do Hive.
• Criando gráficos.
• Configurando gráficos.
• Importando e exportando Notes.

Criando Notes com Shell Script.

• Criando Notes com o interpreter Shell.
• Manipulando e movendo arquivos com shell.
• Manipulando o HDFS com interpreter shell.

Criando Notes com Apache Spark e Angular.

• Criando Notes com o interpreter Spark.
• Utilizando o interpreter Spark 2.
• Usando o interpreter Angular para apoio de documentação.
• Manipulando Dataframes com métodos Spark.
• Visualizando dados com o interpreter Spark SQL.

Configurando Interpreters.

• Configurando um novo Interpreter JDBC (PostgreSQL).
• Utilizando o novo Interpreter para acessar o PostgreSQL.

Autenticação e Segurança.

• Controlando acessos com Apache Shiro.

Carga Horária:

• 3 Horas.

Pré-Requisitos:

• Noções de Big Data ou Data Science ou Analytics.
• Conhecimento básico em programação.
• Conhecimento básico de manipulação de dados (SQL, DML, DDL)
• Conhecimento básicos de redes. 

Requisitos:

Para aulas EAD ou transmissão ao Vivo.

• Todos os participantes devem ter um computador para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.

Para aulas presenciais

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM : 16GB
• Espaço em Disco: 50GB
• Processador: Dual-core AMD 64, EM64T ou Superior.
• Sistemas Operacionais : GNU/Linux, Windows ou MacOS.
• VirtualBox.

Obs. Pode ser utilizado a VM Hortonworks Data Platform (HDP) Sandbox da Microsoft Azure (https://azuremarketplace.microsoft.com/en-us/marketplace/apps/hortonworks.hortonworks-sandbox) que tem todos os requisitos, porém o tempo de uso e calculado pela Azure e cobrado de seus créditos.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Zeppelin e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Vídeo aulas desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Zeppelin e cursos Apache Zeppelin. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor