Sobre o Treinamento

Nosso treinamento visa formar DBAs (Data Base Administrators) do PostgreSQL para administração e manutenção completa de bancos de dados para atender a demandas de um ambiente corporativos. Conhecimento avançado do banco de dados PostgreSQL serão abordados na formação e composta com muitas atividades prática e visão conceitual de todas as operações assim como técnicas para otimização e tunning do banco de dadoos. Para formação de equipes para desenvolvimento recomendamos nosso outro treinamento de PostgreSQL para Desenvolvedores que foca em funções da equipe de programadores, analistas de sistemas e equipe mais envolvida com o uso das funções do PostgreSQL.

O PostgreSQL é um sistema gerenciador de banco de dados objeto relacional (SGBDOR), desenvolvido como projeto de código aberto.Hoje, o PostgreSQL é um dos SGBDs (Sistema Gerenciador de Bancos de Dados) de código aberto mais avançados, contando com recursos como: Consultas complexas, Chaves estrangeiras, Integridade transacional , Controle de concorrência multi-versão , Suporte ao modelo híbrido objeto-relacional, Ele tem facilidade de Acesso Gatilhos, Visões ,Linguagem Procedural em várias linguagens (PL/pgSQL, PL/Python, PL/Java, PL/Perl) para Procedimentos armazenados, Indexação por texto e Estrutura para guardar dados Georeferenciados PostGIS.

Calendário de turmas abertas

Treinamento somente no formato in-company.

Objetivo

Ensinar as funcionalidades do PostgreSQL para administração de banco de dados corporativos de forma avançada.

Público Alvo

Administradores de Banco de Dados (DBAs) e Engenheiros de Dados.

Conteúdo Programático:

Conceitual

• Histórico do PostgreSQL.
• Fundamentos da arquitetura.
• Principais características.
• Principais funcionalidades.
• Plataformas suportadas.
• Limitações do PostgreSQL.
• Licenciamento.
• Open Software X Free Software.
• Quem usa PostgreSQL no Mundo.
• Quem usa PostgreSQL no Brasil.
• Comunidade PostgreSQL.
• Posicionamento no mercado.
• Empresas e Entidades colaboradoras do PostgreSQL.
• PostgreSQL na Cloud.

Instalação PostgreSQL.

• Requisitos de Software.
• Instalação do PostgreSQL no Linux.
• Instalação a partir dos fontes.
• Configuração de variáveis de ambiente.
• Configuração de script de inicialização.
• Instalação a partir de pacotes.

Configurações do PostgreSQL.

• Formatos de data.
• Codificação.
• Localização.
• Demais Variáveis de ambiente.
• postgresql.conf - Opções gerais.
• postgresql.conf - Opções de manutenção..

Gerenciamento de banco de dados.

• Criação da área de dados.
• Inicialização do servidor de banco de dados.
• Gerenciamento do processo servidor.
• Utilitários do PostgreSQL.
• Criação do banco de dados.
• Layout físico do agrupamento.
• Remoção de banco de dados.
• Banco de dados template.

Tablespaces e Schemas.

• Conceito.
• Criação de tablespaces.
• Propriedades de tablespaces.
• Alteração de tablespaces.
• Manipulação de tablespaces.
• Criação de Schemas.
• Manipulação de Schemas.

Segurança no PostgreSQL.

• Gerenciamento de usuários.
• Permissões de usuários.
• Conceito de ROLEs.
• ROLEs de Login (usuários).
• ROLEs por banco de dados.
• ROLEs Contêiner (Grupos de usuários).
• Manipulação de ROLEs.
• Controle de acesso a Objetos.
• Tipos de Privilégios.
• Gerenciamento de Privilégios(GRANT e REVOKE).
• Controle de acesso através de VIEWs.

Catálogo de dados no PostgreSQL.

• Utilização do catálogo do PostgreSQL.
• Principais tabelas de sistema.

Autenticação de clientes no PostgreSQL.

• Métodos de autenticação.
• pg_hba.conf.
• pg_ident.conf.

Particionamento de tabelas.

• Conceitos e objetivos.
• Tipos de particionamento.
• Implementação de particionamento.
• Configuração de particionamento.

Arquitetura de dados no PostgreSQL.

• Funcionamento interno do PostgreSQL.
• Arquitetura do PostgreSQL.
• Transações.
• Conexões.
• Módulos internos.
• Processos.
• Subsistemas de Processos.
• Funcionamento do WAL(Write Ahead Log).
• Configuração do WAL.
• Arquivamento.

Índices e performance e otimização de consultas.

• Funcionamento do otimizador de consultas.
• Uso correto de índices.
• Tipos de índices.
• Verificação da eficácia dos índices.
• Verificação de tabelas que necessitam de índices.
• Índices concatenados.
• Multiplos índices.
• Indexação parcial.
• Índices com funções e operadores.
• Utilização de tabelas clusterizadas.
• Reindexação.
• Análise da sintaxe SQL.
• Diferenças de performance entre comandos SQL.
• Visualização do plano de execução (EXPLAIN).
• Comparação de custos.
• Controle do comportamento do otimizador.
• Opções do otimizador.
• Manipulação do plano de execução.
• Controle do plano de execução.
• Causas de baixa performance.
• Relação Custo x Performance.
• Tuning de memória e CPU.
• Tuning de I/O.

Otimização de Kernel, Memória e I/O.

• Kernel.
• Memória compartilhada (Shared Memory).
• Configuração do Kernel do Linux.
• Configuração de semáforos do sistema.
• O Parâmetro OVERCOMMIT.
• Otimização de memória.
• Níveis de cache de memória.
• Mecanismo de cache de memória.
• Memória virtual
• Paginação.
• Utilização de memória.
• Monitoramento de paginação e swapping.
• Modelo de I/O no Linux.
• Conceito de RAID.
• Tipos de RAID.
• Análise de dispositivos de I/O do Linux.
• Tuning de I/O no Linux.
• Tecnologia de discos.
• Tipos de Sistemas de arquivos no Linux.
• Particionamento.
• Otimização de I/O do PostgreSQL
• Servidor de banco de dados dedicado.
• Distribuição da área de dados entre discos.
• Distribuição dos logs de transação.
• Tuning do Write-Ahed Log (WAL).
• Configuração de CHECKPOINTs.

Balanceamento de carga.

• Conceitos de load balance.
• Arquitetura para balanceamento.
• Paralelização horizontal.
• Paralelização vertical.
• Processamento distribuído.
• Configuração de replicação com balanceamento.

Backup e Recuperação.

• Conceitos de Backup e Restore.
• Estratégias de Backup.
• Características de backup.
• Backup lógico.
• Opções de Backup.
• Ferramentas de backup.
• Os utilitários pg_dump e pg_dumpall.
• Restauração de Backup lógico.
• Opções de restauração.
• O utilitário pg_restore.
• Backup e restauração de grandes bases de dados.
• Backup físico offline.

Monitoramento e manutenções de rotina.

• Monitoramento de espaço em disco.
• Monitoramento do tamanho de tabelas e índices.
• Monitoramento de outros objetos.
• Estatísticas de uso do banco.
• Monitoramento das atividades do cluster.
• Configuração do log de atividades.
• Estratégias de manutenção.
• VACUUM.
• Atualização de estatísticas.
• Prevenção de falhas no ID de transação (transaction ID wraparound).
• Verificação de IDs de transação.
• Configuração do autovacuum.
• Rotina de reindexação.

Clusterização e Replicação.

• Cluster com PostgreSQL.
• Criação de servidores e slaves.
• Replicação síncrona X Replicação assíncrona.
• Arquitetura de replicação.
• Ferramentas de replicação.
• Tipos de replicação.
• Replicação offline.
• Replicação online.
• Replicação síncrona.
• Replicação assíncrona.
• Replicação Master/Slave
• Replicação Multi-Master.
• Banco de dados distribuídos.
• Banco de dados distribuídos - replicação.
• Commit em duas fases.
• Banco de dados distribuídos - fragmentação
• Fragmentação horizontal.
• Replicação de discos.
• Replicação de discos (RAID).
• Replicação de blocos de discos (DRBD).
• Configuração do DRBD.
• Replicação DRBD com PostgreSQL Warm Standby.

Pré-requisitos de Conhecimento

• Conhecimento básico banco de dados.
• Conhecimento básico em SQL ANSI.

Requisitos dos Alunos.

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware.

• Memória RAM : 8GB
• Espaço em Disco: 40GB
• Processador: Dual-core AMD 64, EM64T
• Sistemas Operacionais : GNU/Linux, Windows ou MacOS ambos em 64Bits.
• Virtualbox.

Carga Horária.

• 32 Horas de duração.

Modalidade do Treinamento.

• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares do PostgreSQL e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações (somente para cursos presenciais).

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Inscrições, Informações e Valores

Nosso Expertise com o PostgreSQL.

•  A Ambiente Livre é "Professional Services - South America" no projeto PostgreSQL atuando há mais de 15 anos com banco de dados PostgreSQL.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos PostgreSQL, e cursos PostgreSQL. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Instrutor

O curso ou treinamento Databricks Plataform com PySpark foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Spark da DataBricks na AWS (Amazon Web Services), Microsoft Azure ou Google Cloud, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Python e o Framework Apache Spark. Entender as principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Spark e interações com outros projetos do ecossistema DataBricks necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.

Turmas Somente inCompany

Conteúdo Programático

Conceitual Big Data e Databricks

• Visão geral sobre Databricks.
• Databricks Plataform.
• Databricks Community X Databricks Premium.
• Ecossistema Databricks.
• Quem usa o Databricks.
• Cases do uso Databricks.
• Free Software(GLP) X Open Source(BSD e Apache).
• Delta Lake.
• Databricks na AWS.
• Databricks na Azure (Azure Databricks).
• Databricks Community.
• change data capture (CDC).
• Data engineering.
• Scala X Python.

Cluster na Cloud.

• Configurando o Ambiente na Azure.
• Databricks Job scheduling.
• Deploy Structured Streaming.

Notebooks.

• Apache Zeppelin.
• Interpreters.
• Markdown.
• Databricks Notebook.

Introdução a Linguagem Python

• O que é Python?
• Apresentando Python.
• Instalando Python.
• Escrevendo scripts Python
• Basico em Python.
• Tipos Básicos Python.
• Definindo Funções.
• IDE para Python.

Programando em Python e Jython

• Declaração método.
• Literais.
• Listas.
• Tuplas.
• Opções.
• Maps.
• Palavras reservadas.
• Operadores.
• Regras de precedência.
• If, While Loops, Do-While Loops.
• Operadores condicionais.
• Pattern Matching.
• Enumerações.

Programação Funcional em Python

• O que é programação funcional?
• Literais funcionais e Closures.
• Recursão.
• Tail Calls.
• Estruturas de Dados Funcionais.
• Parâmetros das Funções implícitas.
• Chamada por nome.
• Chamada por Valor.

Apache Spark no DataBricks.

• Invocando Spark Shell.
• Criando o Contexto Spark.
• Carregando um arquivo no Shell.
• Realizando algumas operações básicas em arquivos em Spark Shell.
• Construindo um Projeto com sbt.
• Executando o Projecto Spark com sbt.
• Caching Overview, Persistência Distribuído.
• Spark  Streaming Overview.
• Exemplo: Streaming Word Count.

RDD - Resilient Distributed Dataset no Databricks.

• Transformações no RDD.
• Ações em RDD.
• Carregando dados em RDD.
• Salvando dados através RDD.
• Key-Value Pair RDD.
• MapReduce e Operações RDD Pair.
• Integração Scala e Hadoop.
• Arquivos de seqüência.
• Usando Partitioner e seu impacto na melhoria do desempenho.

SparkSQL e Dataframe no Databricks.

• Dataframe.
• SparkSQL
• DataSets.
• SparkSQL API.

Armazenamento

• Databricks File System - DBFS.
• Databricks IO Cache.
• Amazon S3.
• Trabalhando arquivos CSV com Spark.
• Trabalhando arquivos JSON com Spark.
• Trabalhando arquivos XML com Spark.
• Introdução ao Apache Parquet.
• Trabalhando com arquivos Parquet.

Apache Streaming e Delta

• Spark Structured Streaming.
• Spark Streaming Transformations.
• Streaming Windows Transformations.
• Create Dataframes.
• Save DataFrames.
• Tables and DataFrames.
• Event Stream Processing (ESP).
• Complex Event Processing (CEP).

Gerais

• Visualizations.
• SparkML.

Carga Horária:

• 32 Horas.

Pré-requisitos dos Participantes:

• Conhecimento alguma linguagem de programação.
• Noções de Big Data.
• Conhecimento de Banco de Dados e SQL.
• Conhecimento básico de Linux.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM : 8GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• deve estar ativo a Virtualização na BIOS do equipamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

Sobre o Treinamento

O treinamento em desenvolvimento com Dart passa uma visão conceitual e prática de como trabalhar com a linguagem Dart para o desenvolvimento de Aplicações.

O Dart (originalmente denominada Dash) é uma linguagem de script voltada à web desenvolvida pela Google. Ela foi lançada na GOTO Conference 2011 com inicialmente a de substituir a JavaScript como a linguagem principal embutida nos navegadores. Programas nesta linguagem podem tanto serem executados em uma máquina virtual quanto compilados para JavaScript. Em 2013, foi lançada a primeira versão estável, Dart 1.0. Em agosto de 2018 foi lançado o Dart 2.0, um reboot da linguagem, otimizado para o desenvolvimento client-side para Web e dispositivos móveis.

Objetivo

Ministrar as principais características da linguagem de programação Dart junto a uma visão geral das funcionalidades.

Público alvo do treinamento

Programadores, Desenvolvedores.

Turmas Somente inCompany

Conteúdo Programático

Conceitual.

• Linguagens de programação Web modernas.
• HTML5.
• Orientação a Objetos.
• Free Software X Open Source.
• Comunidade Dart.

Introdução ao Dart.

• A linguagem Dart.
• Histórico do Dart.
• Empresas usando Dart no Mundo.
• Empresas usando dart no Brasil.
• Licenciamento do Dart.
• Sistemas Operacionais suportados.
• Requisitos.

Instalação do Dart

• Instalando o Dart SDK.
• Instalando o Dart Editor.

Tipos de variáveis.

• Integer.
• Float.
• Strings
• Dinâmicas.
• Date e Time.
• List.
• Maps.
• Conversão de tipos.

Condicionais no Dart

• Condicional If.
• Condicionais Booleanas.

Laços de Repeticão.

• While.
• For.

Orientação a Objeto com Dart

• Abstração classes e métodos..
• Composição de classe.
• Get.
• Set.
• Construtores.
• Polimorfismos.
• Herança / Extends.
• Herança / Implements.
• Mixin / With.
• Conflitos.

Funcionalidades e Características.

• Comentários.
• Funções em Dart.
• Bibliotecas.
• Compilando Dart.
• Compilando para JavaScript.

Handling DOM.

• Buscando elementos.
• Alterando atributos do elemento.
• Manipulando o style da página.

HTML5 com Dart.

• HTML5 forms.
• Validação de dados.
• Store Data.
• Alterando e atualizando dados.

Client Server.

• JSON Web Services.
• Drivers de banco de dados.
• MariaDB e MongoDB.

Assuntos Gerais

• Dartlero.
• Flutter e Dart.
• Polymer.dart.
• IndexDB.
• Cases.
• Mercado de trabalho.
• Certificações.

Carga Horária:

• 24 Horas.

Pré-requisitos dos Participantes:

• Conhecimento Básico em Programação e Lógica.
• Conhecimento Básico em Banco de Dados e SQL.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM: 4 GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• Sistemas Operacionais:Qualquer.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Dart e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas, Durante o curso uma pequena aplicação será desenvolvida para validar os conhecimentos e seguir em um raciocínio prático.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

O treinamento MinIO foi elaborado para apresentar e conceituar o Kubernetes Native Object Storage através de implementações práticas. O MinIO oferece suporte à mais ampla variedade de casos de uso no maior número de ambientes. Nativo da nuvem desde o início, o pacote definido por software do MinIO funciona perfeitamente na nuvem pública, nuvem privada e edge, e tornando-se um líder em nuvem híbrida e armazenamento de objetos em várias nuvens. Com desempenho líder da indústria e escalabilidade, MinIO pode fornecer uma variedade de casos de uso de AI / ML, análises, backup / restauração e web moderna e aplicativos móveis.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Avançado.

Aplicabilidade.

Este treinamento foi desenvolvido usando o MinIO RELEASE.2024-12-18T13:15:44Z e foi modificado pela última vez em 12 de Janeiro de 2025.

Conteúdo Programático

Conceitual.

• Introdução a Containers.
• Introdução ao Docker.
• Introdução ao Kubernetes.
• Introdução a Multi Cloud.
• Object Store.
• S3 e MinIO.
• Software Livre x Open Source.
• Licenciamento.
• Histórico do MinIO.
• Empresas usando MinIO no Mundo.
• Empresas usando MinIO no Brasil.
• Comunidade MinIO.
• Versões do MinIO.
• Casos de Uso com MinIO.

Instalando o Ambiente.

• Instalando e configurando o MinIO.
• Instalando e configurando o MinIO Client.
• Criando um alias com o MinIO Client.
• Testando com MinIO Client.

MinIO Object Storage.

• Escalabilidade.
• Cloud Native.
• Compatibilidade com Amazon S3.
• Buckets
• Versioned Buckets.
• Object Locking.
• Object Retention Modes.
• GOVERNANCE Mode.
• COMPLIANCE Mode.
• Legal Hold.
• Interaction with Versioning.
• Lifecycle Management.
• Object Expiration.

Arquitetura e Funcionalidades do MinIO.

• Erasure encoding.
• Encryption.
• CR - Continuous replication.
• Multi-cloud gateway.

MinIO Server.

• MinIO Server.
• MinIO Console.
• Configurações do Server.
• Drive location.
• Distributed instance.
• Distributed setup.
• Running sample applications.
• Bucket notification.
• Migrando Configurações.
• Multiple tenants.

MinIO Client.

• MinIO Client.
• Adicionando o cloud service storage.
• Comandos MinIO Client.
• Shell Aliases.
• mc sql (S3 Select)
• mc sql com Apache Parquet.

Aplicações.

• Executando exemplos de aplicações.

Segurança.

• Policy-Based Access Control (PBAC).
• Tag-Based Policy Conditions.
• Built-In Policies.
• Policy Document Structure.
• Supported S3 Policy Actions.
• Supported S3 Policy Condition Keys.
• Policy Action Keys.
• TLS certificates.
• Configuração de acessos no MinIO Server com TLS.

API e SDK MinIO.

• MinIO Endpoints.
• Java Client API.
• Python Client API.
• Boto3 - AWS SDK para Python.

Replicação e Balanceamento.

• Replicação de Sites.
• Cenários de Replicação.
• Considerações arquitetônicas.
• Load balance MinIO.
• Health Checks.
• Distributed MinIO Deployment.

Deploy do MinIO.

• Deploy do MinIO com Docker.
• Deploy do MinIO com Kubernetes.
• MinIO clusters.
• MinIO Operator.
• Helm Chart.
• Deploying.
• YAML files.

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico containers (Docker).
• Conhecimento Básico de Linux/Shell.
• Conhecimento Básico de Infraestrutura e Redes.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
• Virtualbox.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares MinIO e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos MinIO e cursos MinIO. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

O treinamento Kubeflow foi elaborado para apresentar e conceituar a plataforma de aprendizado de máquina Kubeflow, conhecido como Machine Learning Toolkit para Kubernetes a plataforma é de código aberto e projetada para permitir o uso de pipelines de aprendizado de máquina orquestrados em fluxos de trabalho complicados em execução no Kubernetes. Atende as necessidades da MLOps, sendo o cientista de dados o profissional mais atuante nesta ferramenta com apoio das facilidades de deploy do Kubernetes.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Avançado.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Kubeflow 1.6.1 e foi modificado pela última vez em 7 de Janeiro de 2023.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Data Scientist.
• Pipeline de dados.
• Kubernetes.
• O Software Kubeflow.
• Software Livre x Open Source.
• Licenciamento.
• Histórico do Kubeflow.
• Empresas usando Kubeflow no Mundo.
• Empresas usando Kubeflow no Brasil.
• Comunidade Kubeflow.
• Versões do Kubeflow.
• Casos de Uso com Kubeflow.

Introdução as Ferramenta de Machine Learning no Kubeflow.

• Linguagem Python.
• Jupyter Notebook.
• Chainer.
• Scikit-learn.
• PyTork.
• MPI.
• TensorFlow.
• XGBoost.

Kubeflow Applications e Scaffolding

• Chainer Operator.
• MPI Operator.
• pyTork Operator.
• XGBoost Operator.
• Fainring.
• TensorFlow batch prediction.

Instalação e arquitetura.

• Arquitetura do Kubernetes.
• Arquitetura do Kubeflow.
• Requisitos de instalação.
• Instalando o Kubeflow.
• Configurando o Kubeflow.

Distribuições Kubeflow.

• Kubeflow no Google Cloud.
• Kubeflow no AWS.
• Kubeflow no Azure.
• Kubeflow no OpenShift.

Kubeflow.

• Kubeflow UI.
• Central Dashboard.
• Kubeflow Notebooks.
• Models.
• Volumes.
• Experiments (AutoML).
• Experiments (KFP).
• Kubeflow Pipelines.
• KFServing.
• Katib.
• Training Operators.
• Runs.
• Recurring Runs.
• Artifacts.
• kubeflow API.
• Kubeflow SDK.
• Multi-Tenancy.

ML Kubeflow.

• Fase Experimental.
• Fase em Produção.

Ferramentas Kubeflow.

• Kfctl.
• Kustomize.
• KFServiing.
• Kubeflow pipeline.

Add-Ons.

• Elyra.
• Istio.
• Kale.
• Fairing.
• Feature Store.
• Tools for serving

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico containers.
• Conhecimento Básico de Machine Learning e Data Science.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: ideal 16GB e mínimo : 10GB
• Espaço em Disco: Ideal 45GB e mínimo 30 GB.
• Processadores: 64 bits (chipsets de x64).
• CPU: 6 CPUs/núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
• Virtualbox.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Kubeflow e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kubeflow e cursos Kubeflow. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor.

Sobre o treinamento

O treinamento Rancher prepara profissionais para o mercado de orquestração de contêineres Docker e Kubernetes. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções complexas em ambientes nuvem públicas ou privadas.

O Rancher é uma ferramenta Open Source que serve para administrar e gerenciar uma infraestrutura de Docker e Kubernetes em produção, assim como efetuar deploy de apps usando Docker. O deploy pode ser local ou em servers remotos como AWS, Google Cloud e Microsoft Azure.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Conteúdo Programático.

Conceitual Rancher.

• Orquestração de contêineres.
• Ferramentas de orquestração de contêineres.
• Ecossistema Kubernetes.
• O projeto Rancher.
• Histórico do Rancher.
• Suse e Rancher Labs.
• Motivações para criação do Rancher.
• Fundamentos do Rancher.
• Licenciamento do Rancher.
• Cases do uso do Rancher.
• Empresas usando Rancher no Mundo.
• Empresas usando Rancher no Brasil.
• Comunidade Rancher.

Arquitetura e terminologias.

• Arquitetura do Rancher.
• Authentication Server.
• Rancher server.
• Rancher Server API.
• etcd.
• Cluster Controler.
• Cluster Agent.
• Kubelet.
• RKE (Rancher Kubernetes Engine).
• K3s (Lightweight Kubernetes).
• RKE2.
• RancherD.

Instalação do Rancher.

• Instalação do Rancher.
• Instalando Kubernetes Single-node.
• Instalando Kubernetes Cluster.
• Instalando Docker.
• Internacionalização do Rancher.

Componetes do Rancher.

• Rancher CLI.
• Rancher UI.
• Rancher API.
• Nodes e Node Pools.
• Project Administration.
• Pipelines.
• Apps e Marketplace.
• Fleet.

Rancher Pipelines.

• Conceitos.
• Pipelines Work.
• Docker Registry.
• Version Control Providers (github, gitlab e bitbucket).
• Repositories.
• .rancher-pipeline.yml.
• Configuration Reference.
• Executando Pipelines.
• Triggering a Pipeline.
• Event Triggers.

Rancher e Clusters.

• Kubernetes Clusters no Rancher.
• Gerenciando Clusters no Rancher.
• Gerenciando Nodes.
• Gerenciando Volumes e Storages.
• Gerenciando Projects, Namespaces e Workloads.
• App Catalogs.

Segurança e autenticação.

• Tipos de Autenticação no Rancher.
• Pod Security Policy.
• Access Control de Pipelines.

Alertas e Monitoramento.

• Configurando Ferramentas.
• Alerts.
• Notifiers.
• Logging.
• Monitoring.
• Istio Service Mesh.

Rancher API.

• Authentication.
• Making requests.
• Filtering.
• Sorting.
• Pagination.

Backup e Restore.

• rancher-backup.
• kube-apiserver.
• rancher-backup Operator.
• Backing up Rancher
• Restoring Rancher.
• Migrando o Rancher.

Tópicos Diversos.

• Overview de Integração Rancher com Prometheus.
• Overview de Integração Rancher e Grafana.

Carga Horária:

• 24 Horas de duração

Pré-Requisitos:

• Conhecimento de comandos e servidores GNU/Linux.
• Conhecimento básico de redes (Proxy, DNS, etc).
• Conhecimento Básico em Docker e Kubernetes.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para Online ter uma boa conectividade com a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM : 8GB
• Espaço em Disco: 20GB
• Processador: Dual-core AMD 64, EM64T
• Sistemas Operacionais: GNU/Linux, Windows, MacOS.
• VirtualBox.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Rancher e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações (em turmas presenciais).

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos Brasil, América Latina, Europa e África com treinamentos Rancher e cursos Rancher. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores.

[No form id or name provided!]

Instrutor

Sobre o Treinamento

O treinamento Apache Kafka  para administradores é voltado para administradores do cluster Kafka que pretende obter alta performance em Kafka. O treinamento tem diversas atividades práticas simulando uma implantação de um cluster Kafka a um ambiente complexo de processamento de dados. com foco na administração e infraestrutura. 

Modalidades do Treinamento:

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Conteúdo Programático

Conceitual

• Streaming.
• Stream X Batch.
• Eventos.
• Dados Distribuídos.
• JBOD(Just a Bunch of Disks).
• Real-time Stream.
• CDC – Change Data Capture.
• Projeto Apache Kafka.
• História do Apache Kafka.
• Apache Software Foundation.
• Kafka x RabbitMQ X Spark Stream X Flink Stream.
• Licenciamento (Free Software X Open Source).
• Motivações para usar Streaming.
• Empresas usando Kafka no mundo.
• Empresas usando Kafka no Brasil.
• Versões do Apache Kafka.
• Confluent Plataform.
• Comunidade Apache Kafka no Brasil e no Mundo.
• Livros, sites, documentação e referências.

Instalação do Kafka

• Planejando requisitos de Hardware.
• Planejando requisitos de Memória.
• Planejando requisitos de CPU.
• Instalando Java/JDK.
• Configurações da memória Heap do Java.
• Instalando o rodando o Kafka.
• Configurações iniciais do Kafka.

Fundamentos do Kafka

• Kafka Producer.
• Kafka Consumers.
• Kafka Brokers.
• Local Storage.
• Tempo de retenção.
• Política de retenção.
• Poll.
• Mensagens.
• Tópicos.
• Particionamentos.
• Segmentos.
• Log.
• Kafka Data Model.

Arquitetura do Apache Kafka.

• Kafka Commit Log.
• Replicação e Alta Disponibilidade.
• Particionamento e Consumers Group para Escalabilidade.

Schema Registry.

• Terminologia do Schema Registry.
• Requisitos do Schema Registry.
• Instalação do Schema Registry.
• Configuração do Schema Registry.
• Executando o Schema Registry em Produção.
• Transaction Topic.
• Schema Definition.
• Client Applications.
• Java Producers e Consumers com Schema Registry.
• Gerenciamento do Schema Registry.
• Compatibilidade de Tipos.
• Migração d Schemas.
• Backups e Restores.

Kafka Cluster.

• Apache Zookeeper.
• Arquitetura do Apache Zookeeper.
• Fator de Replicação.
• Estratégias de Particionamento.
• Particionamentos customizados.
• Liderança de Partições.
• Load Balancing.
• Testando o Cluster.
• CLI Tools.
• Expandindo seu cluster.
• Incrementando o fator de Replicação.

Monitoramento e Alertas do Clusters Kafka.

• Melhores práticas.
• Estratégias de Monitoramento.
• Monitoramento com JMX.
• Ferramentas Open Source de Monitoramento.
• Métricas de monitoramento da JVM.
• Métricas de monitoramento do SO.
• Métricas de monitoramento do Kafka.
• Métricas de monitoramento do Zookeeper.
• Nível de severidade.
• Burrow X Cruise Control.

Testes de Desempenho no Cluster Kafka.

• Ferramentas, estratégias e análises de resultados.
• Execução de testes de carga.
• Ações corretivas e de investigação.
• Avaliação do resultados.

Kafka Cruise Control.

• Introdução ao Kafka Cruise Control.
• Cruise Control Frontend.
• Arquivos de configuração para estratégia JBOD.
• Entendimento das informações da interface Web
• Kafka broker resource utilizando tracking.
• Detecção de Anomalias com self-healing.
• Execução de otimização.

Tópicos Avançados.

• Kafka com Docker e Kubernetes.
• Deploy com arquivo WAR.
• Scalable Data Pipeline.
• Log Compactado.
• Segurança.
• Autenticação e Autorização.
• Criptografia.

Carga Horária:

• 24 Horas.

Pré-Requisitos:

• Conhecimento Básico em comandos Bash Shell/Linux.
• Conhecimentos de Redes e Infraestrutura.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8 GB.
• Espaço em Disco: 20 GB.
• Processador: 4 Cores.
• Sistemas Operacionais: GNU/Linux, Windows, Mac OS.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Kafka e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kafka e cursos Kafka. Caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Informações e Valores

[No form id or name provided!]

Instrutor

O curso ou treinamento Apache Spark com Databricks foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Spark da DataBricks na AWS (Amazon Web Services), Microsoft Azure ou Google Cloud, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Scala e o Framework Apache Spark. Entender as principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Spark e interações com outros projetos do ecossistema DataBricks necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.

Turmas Somente inCompany

Conteúdo Programático

Conceitual Big Data e Databricks

• Visão geral sobre Databricks.
• Databricks Plataform.
• Databricks Community X Databricks Premium.
• Ecossistema Databricks.
• Quem usa o Databricks.
• Cases do uso Databricks.
• Free Software(GLP) X Open Source(BSD e Apache).
• Delta Lake.
• Databricks na AWS.
• Databricks na Azure (Azure Databricks).
• Databricks Community.
• change data capture (CDC).
• Data engineering.
• Scala X Python.

Cluster na Cloud.

• Configurando o Ambiente na Azure.
• Databricks Job scheduling.
• Deploy Structured Streaming.

Notebooks.

• Apache Zeppelin.
• Interpreters.
• Markdown.
• Databricks Notebook.

Introdução a Linguagem Scala

• Apresentando o Scala.
• Instalando Scala.
• Journey - Java para Scala
• First Dive -  Interactive Scala.
• Escrevendo scripts Scala - Compilando Programas Scala.
• Basico em Scala.
• Tipos Básicos Scala.
• Definindo Funções.
• IDE para Scala.
• Scala Community.

Linguagem Scala.

• Imutabilidade em Scala - Semicolons.
• Declaração método.
• Literais.
• Listas.
• Tuplas.
• Opções.
• Maps.
• Palavras reservadas.
• Operadores.
• Regras de precedência.
• If Statements.
• Scala Para Compreensão.
• While Loops, Do-While Loops.
• Operadores condicionais.
• Pattern Matching.
• Enumerações.
• Traits Intro - Traits as Mixins.
• Stackable Traits.
• Criando Traits e OOPS - Classes and Objetos Básicos.
• Construtores Scala.
• Nested Classes.
• Visibility Rules.

Programação Funcional em Scala.

• O que é programação funcional?
• Literais funcionais e Closures.
• Recursão.
• Tail Calls.
• Estruturas de Dados Funcionais.
• Parâmetros das Funções implícitas.
• Chamada por nome.
• Chamada por Valor.

Apache Spark no DataBricks.

• Invocando Spark Shell.
• Criando o Contexto Spark.
• Carregando um arquivo no Shell.
• Realizando algumas operações básicas em arquivos em Spark Shell.
• Construindo um Projeto com sbt.
• Executando o Projecto Spark com sbt.
• Caching Overview, Persistência Distribuído.
• Spark  Streaming Overview.
• Exemplo: Streaming Word Count.

RDD - Resilient Distributed Dataset no Databricks.

• Transformações no RDD.
• Ações em RDD.
• Carregando dados em RDD.
• Salvando dados através RDD.
• Key-Value Pair RDD.
• MapReduce e Operações RDD Pair.
• Integração Scala e Hadoop.
• Arquivos de seqüência.
• Usando Partitioner e seu impacto na melhoria do desempenho.

SparkSQL e Dataframe no Databricks.

• Dataframe.
• SparkSQL
• DataSets.
• SparkSQL API.

Armazenamento

• Databricks File System - DBFS.
• Databricks IO Cache.
• Amazon S3.
• Trabalhando arquivos CSV com Spark.
• Trabalhando arquivos JSON com Spark.
• Trabalhando arquivos XML com Spark.
• Introdução ao Apache Parquet.
• Trabalhando com arquivos Parquet.

Apache Streaming e Delta

• Spark Structured Streaming.
• Spark Streaming Transformations.
• Streaming Windows Transformations.
• Create Dataframes.
• Save DataFrames.
• Tables and DataFrames.
• Event Stream Processing (ESP).
• Complex Event Processing (CEP).

Gerais

• Visualizations.
• SparkML.

Carga Horária:

• 32 Horas.

Pré-requisitos dos Participantes:

• Todos alunos devem ter uma conta no Azure.
  
• Conhecimento alguma linguagem de programação.
• Noções de Big Data.
• Conhecimento de Banco de Dados e SQL.
• Conhecimento Básico de Linux.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM : 8GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• deve estar ativo a Virtualização na BIOS do equipamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor