Home Treinamento Treinamento em Spark com Scala - Fundamental - Big Data
PDF Imprimir E-mail

 Treinamento em Apache Spark com Scala  - Fundamental

 

 

O treinamento fundamental em Apache Spark prepara profissionais para o mercado de trabalho com Spark e Programação em Scala. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções de Big Data em suas corporações. O mesmo abrange, conceitos , conhecimentos de uso dos softwares, interação programática e atividades práticas.


Disponibilidade e Calendário do Treinamento


Somente in Company. Solicite Orçamento


Treinamentos in-Company

Capacite toda sua equipe, realizamos treinamentos In-company em todo o Brasil. Os treinamentos in-company permitem um investimento único para uma equipe de até 12 pessoas.

Investimento: Solicitar proposta comercial.

Formas de Pagamento

  • Depósito Bancário.
  • Boleto.
  • Nota de empenho para orgãos públicos.
  • Em até 18 vezes com cartão de créditos via PagSeguro*

*Os juros do parcelamento são calculados de acordo com seu cartão de crédito, cada cartão tem quantidade de parcelamento diferenciado.



Objetivos.

Ministrar as principais características do Apache Spark e as Características da Linguagem Scala. O funcionamento e instalação do Spark, conceitos básicos de execução do programa escrito em Scala.

Público alvo do treinamento.


Gestores de TI, Cientistas de Dados, Analistas de Business Intelligence, Engenheiros da Computação.

Conteúdo Programático

Conceitual Big Data e Spark

  1. O que é Big Data?
  2. O Profissional cientista de dados.
  3. Visão geral do Spark
  4. Características do Spark
  5. Sistema distribuído.
  6. Ecosistema Spark
  7. Quem usa o Spark
  8. Cases do uso Spark
  9. Uso de Hadware comum.
  10. Overview do Spark em cluster
  11. Batch X Real Time - Big Data Analytics

Introdução a Scala

  1. O que é Scala?
  2. Apresentando Scala
  3. Instalando Scala
  4. Journey - Java para Scala
  5. First Dive -  Interactive Scala
  6. Escrevendo scripts Scala - Compilando Programas Scala
  7. Basico em Scala
  8. Tipos Básicos Scala
  9. Definindo Funções
  10. IDE para Scala
  11. Scala Community

Essencial em Scala

  1. Imutabilidade em Scala - Semicolons
  2. Declaração método
  3. Literais
  4. Listas
  5. Tuplas
  6. Opções
  7. Maps
  8. Palavras reservadas
  9. Operadores
  10. Regras de precedência
  11. If Statements
  12. Scala Para Compreensão
  13. While Loops, Do-While Loops
  14. Operadores condicionais
  15. Pattern Matching
  16. Enumerações

Traits e OOPs em Scala

  1. Traits Intro - Traits as Mixins
  2. Stackable Traits
  3. Criando Traits e OOPS - Classes and Objetos Básicos
  4. Construtores Scala
  5. Nested Classes
  6. Visibility Rules

Programação Funcional em Scala

  1. O que é programação funcional?
  2. Literais funcionais e Closures
  3. Recursão
  4. Tail Calls
  5. Estruturas de Dados Funcionais
  6. Parâmetros das Funções implícitas
  7. Chamada por nome
  8. Chamada por Valor.

Instalação Spark

  1. Instalando o Spark
  2. Modos do Spark
  3. Standalone Cluster


Primeiros Passos em Spark

  1. Invocando Spark Shell
  2. Criando o Contexto Spark
  3. Carregando um arquivo no Shell
  4. Realizando algumas operações básicas em arquivos em Spark Shell
  5. Construindo um Projeto com sbt
  6. Executando o Projecto Spark com sbt
  7. Caching Overview, Persistência Distribuído
  8. Spark  Streaming Overview
  9. Exemplo: Streaming Word Count.


RDDS

  1. Transformações no RDD
  2. Ações em RDD
  3. Carregando dados em RDD
  4. Salvando dados através RDD
  5. Key-Value Pair RDD
  6. MapReduce e Operações RDD Pair
  7. Integração Scala e Hadoop
  8. Arquivos de seqüência
  9. Usando Partitioner e seu impacto na melhoria do desempenho.

Spark com SQL e Hive

  1. Arquitetura Analyze Hive
  2. Arquitetura Spark SQL
  3. Analyze Spark SQL
  4. Context em Spark SQL
  5. Integrando Hive e Spark SQL

Spark e Pentaho

  1. Overview Suite Pentaho
  2. Pentaho data Integration
  3. Orquestrando Spark com Pentaho Data Integration
  4. Data Visualization




Pré-requisitos

  • Conhecimento de Servidor Linux e TCPIP, conhecimento de alguma linguagem de programação e Lógica de Programação.

Requisitos

Alunos

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM : 6GB
  • Espaço em Disco: 10GB
  • Processador: Dual-core AMD 64, EM64T
  • Sistemas Operacionais : Linux( de preferência baseados em Debian), Windows , MacOS.
  • VirtualBox.

    Obs. Equipamentos com menos que 6GB podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento.

Carga Horária

32 Horas de Duração
100% Presencial


Material e Metodologia

Material
Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Spark e Scala e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.alt
  • Apresentações ( slides do treinamento ) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

 
 
Copyright © 2017 Ambiente Livre Tecnologia - Soluções em Software Livre. Todos os direitos reservados.
Joomla! é um Software Livre com licença GNU/GPL v2.0.