O treinamento Kubeflow foi elaborado para apresentar e conceituar a plataforma de aprendizado de máquina Kubeflow, conhecido como Machine Learning Toolkit para Kubernetes a plataforma é de código aberto e projetada para permitir o uso de pipelines de aprendizado de máquina orquestrados em fluxos de trabalho complicados em execução no Kubernetes. Atende as necessidades da MLOps, sendo o cientista de dados o profissional mais atuante nesta ferramenta com apoio das facilidades de deploy do Kubernetes.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Avançado.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Kubeflow 1.6.1 e foi modificado pela última vez em 7 de Janeiro de 2023.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Data Scientist.
• Pipeline de dados.
• Kubernetes.
• O Software Kubeflow.
• Software Livre x Open Source.
• Licenciamento.
• Histórico do Kubeflow.
• Empresas usando Kubeflow no Mundo.
• Empresas usando Kubeflow no Brasil.
• Comunidade Kubeflow.
• Versões do Kubeflow.
• Casos de Uso com Kubeflow.

Introdução as Ferramenta de Machine Learning no Kubeflow.

• Linguagem Python.
• Jupyter Notebook.
• Chainer.
• Scikit-learn.
• PyTork.
• MPI.
• TensorFlow.
• XGBoost.

Kubeflow Applications e Scaffolding

• Chainer Operator.
• MPI Operator.
• pyTork Operator.
• XGBoost Operator.
• Fainring.
• TensorFlow batch prediction.

Instalação e arquitetura.

• Arquitetura do Kubernetes.
• Arquitetura do Kubeflow.
• Requisitos de instalação.
• Instalando o Kubeflow.
• Configurando o Kubeflow.

Distribuições Kubeflow.

• Kubeflow no Google Cloud.
• Kubeflow no AWS.
• Kubeflow no Azure.
• Kubeflow no OpenShift.

Kubeflow.

• Kubeflow UI.
• Central Dashboard.
• Kubeflow Notebooks.
• Models.
• Volumes.
• Experiments (AutoML).
• Experiments (KFP).
• Kubeflow Pipelines.
• KFServing.
• Katib.
• Training Operators.
• Runs.
• Recurring Runs.
• Artifacts.
• Kubeflow API.
• Kubeflow SDK.
• Multi-Tenancy.

ML Kubeflow.

• Fase Experimental.
• Fase em Produção.

Ferramentas Kubeflow.

• Kfctl.
• Kustomize.
• KFServiing.
• Kubeflow pipeline.

Add-Ons.

• Elyra.
• Istio.
• Kale.
• Fairing.
• Feature Store.
• Tools for serving

Carga Horária.

• 24 Horas.

Pré-Requisitos.

• Conhecimento Básico containers.
• Conhecimento Básico de Machine Learning e Data Science.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: ideal 16GB e mínimo : 10GB
• Espaço em Disco: Ideal 45GB e mínimo 30 GB.
• Processadores: 64 bits (chipsets de x64).
• CPU: 6 CPUs/núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.
• Virtualbox.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Kubeflow e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kubeflow e cursos Kubeflow. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor.

Sobre o treinamento

O treinamento Rancher prepara profissionais para o mercado de orquestração de contêineres Docker e Kubernetes. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções complexas em ambientes nuvem públicas ou privadas.

O Rancher é uma ferramenta Open Source que serve para administrar e gerenciar uma infraestrutura de Docker e Kubernetes em produção, assim como efetuar deploy de apps usando Docker. O deploy pode ser local ou em servers remotos como AWS, Google Cloud e Microsoft Azure.

Conteúdo Programático.

Conceitual Rancher.

• Orquestração de contêineres.
• Ferramentas de orquestração de contêineres.
• Ecossistema Kubernetes.
• O projeto Rancher.
• Histórico do Rancher.
• Suse e Rancher Labs.
• Motivações para criação do Rancher.
• Fundamentos do Rancher.
• Licenciamento do Rancher.
• Cases do uso do Rancher.
• Empresas usando Rancher no Mundo.
• Empresas usando Rancher no Brasil.
• Comunidade Rancher.

Arquitetura e terminologias.

• Arquitetura do Rancher.
• Authentication Server.
• Rancher server.
• Rancher Server API.
• etcd.
• Cluster Controler.
• Cluster Agent.
• Kubelet.
• RKE (Rancher Kubernetes Engine).
• K3s (Lightweight Kubernetes).
• RKE2.
• RancherD.

Instalação do Rancher.

• Instalação do Rancher.
• Instalando Kubernetes Single-node.
• Instalando Kubernetes Cluster.
• Instalando Docker.
• Internacionalização do Rancher.

Componetes do Rancher.

• Rancher CLI.
• Rancher UI.
• Rancher API.
• Nodes e Node Pools.
• Project Administration.
• Pipelines.
• Apps e Marketplace.
• Fleet.

Rancher Pipelines.

• Conceitos.
• Pipelines Work.
• Docker Registry.
• Version Control Providers (github, gitlab e bitbucket).
• Repositories.
• .rancher-pipeline.yml.
• Configuration Reference.
• Executando Pipelines.
• Triggering a Pipeline.
• Event Triggers.

Rancher e Clusters.

• Kubernetes Clusters no Rancher.
• Gerenciando Clusters no Rancher.
• Gerenciando Nodes.
• Gerenciando Volumes e Storages.
• Gerenciando Projects, Namespaces e Workloads.
• App Catalogs.

Segurança e autenticação.

• Tipos de Autenticação no Rancher.
• Pod Security Policy.
• Access Control de Pipelines.

Alertas e Monitoramento.

• Configurando Ferramentas.
• Alerts.
• Notifiers.
• Logging.
• Monitoring.
• Istio Service Mesh.

Rancher API.

• Authentication.
• Making requests.
• Filtering.
• Sorting.
• Pagination.

Backup e Restore.

• rancher-backup.
• kube-apiserver.
• rancher-backup Operator.
• Backing up Rancher
• Restoring Rancher.
• Migrando o Rancher.

Tópicos Diversos.

• Overview de Integração Rancher com Prometheus.
• Overview de Integração Rancher e Grafana.

Carga Horária:

• 24 Horas de duração

Pré-Requisitos:

• Conhecimento de comandos e servidores GNU/Linux.
• Conhecimento básico de redes (Proxy, DNS, etc).
• Conhecimento Básico em Docker e Kubernetes.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para Online ter uma boa conectividade com a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM : 8GB
• Espaço em Disco: 20GB
• Processador: Dual-core AMD 64, EM64T
• Sistemas Operacionais: GNU/Linux, Windows.
• VirtualBox.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Rancher e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos Brasil, América Latina, Europa e África com treinamentos Rancher e cursos Rancher. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores.

Instrutor

Sobre o Treinamento

O treinamento Apache Kafka  para administradores é voltado para administradores do cluster Kafka que pretende obter alta performance em Kafka. O treinamento tem diversas atividades práticas simulando uma implantação de um cluster Kafka a um ambiente complexo de processamento de dados. com foco na administração e infraestrutura. 

Conteúdo Programático

Conceitual

• Streaming.
• Stream X Batch.
• Eventos.
• Dados Distribuídos.
• JBOD(Just a Bunch of Disks).
• Real-time Stream.
• CDC – Change Data Capture.
• Projeto Apache Kafka.
• História do Apache Kafka.
• Apache Software Foundation.
• Kafka x RabbitMQ X Spark Stream X Flink Stream.
• Licenciamento (Free Software X Open Source).
• Motivações para usar Streaming.
• Empresas usando Kafka no mundo.
• Empresas usando Kafka no Brasil.
• Versões do Apache Kafka.
• Confluent Plataform.
• Comunidade Apache Kafka no Brasil e no Mundo.
• Livros, sites, documentação e referências.

Instalação do Kafka

• Planejando requisitos de Hardware.
• Planejando requisitos de Memória.
• Planejando requisitos de CPU.
• Instalando Java/JDK.
• Configurações da memória Heap do Java.
• Instalando o rodando o Kafka.
• Configurações iniciais do Kafka.

Fundamentos do Kafka

• Kafka Producer.
• Kafka Consumers.
• Kafka Brokers.
• Local Storage.
• Tempo de retenção.
• Política de retenção.
• Poll.
• Mensagens.
• Tópicos.
• Particionamentos.
• Segmentos.
• Log.
• Kafka Data Model.

Arquitetura do Apache Kafka.

• Kafka Commit Log.
• Replicação e Alta Disponibilidade.
• Particionamento e Consumers Group para Escalabilidade.

Schema Registry.

• Terminologia do Schema Registry.
• Requisitos do Schema Registry.
• Instalação do Schema Registry.
• Configuração do Schema Registry.
• Executando o Schema Registry em Produção.
• Transaction Topic.
• Schema Definition.
• Client Applications.
• Java Producers e Consumers com Schema Registry.
• Gerenciamento do Schema Registry.
• Compatibilidade de Tipos.
• Migração de Schemas.
• Backups e Restores.

Kafka Cluster.

• Apache Zookeeper.
• Arquitetura do Apache Zookeeper.
• Fator de Replicação.
• Estratégias de Particionamento.
• Particionamentos customizados.
• Liderança de Partições.
• Load Balancing.
• Testando o Cluster.
• CLI Tools.
• Expandindo seu cluster.
• Incrementando o fator de Replicação.

Monitoramento e Alertas do Clusters Kafka.

• Melhores práticas.
• Estratégias de Monitoramento.
• Monitoramento com JMX.
• Ferramentas Open Source de Monitoramento.
• Métricas de monitoramento da JVM.
• Métricas de monitoramento do SO.
• Métricas de monitoramento do Kafka.
• Métricas de monitoramento do Zookeeper.
• Nível de severidade.
• Burrow X Cruise Control.

Testes de Desempenho no Cluster Kafka.

• Ferramentas, estratégias e análises de resultados.
• Execução de testes de carga.
• Ações corretivas e de investigação.
• Avaliação do resultados.

Kafka Cruise Control.

• Introdução ao Kafka Cruise Control.
• Cruise Control Frontend.
• Arquivos de configuração para estratégia JBOD.
• Entendimento das informações da interface Web
• Kafka broker resource utilizando tracking.
• Detecção de Anomalias com self-healing.
• Execução de otimização.

Tópicos Avançados.

• Kafka com Docker e Kubernetes.
• Deploy com arquivo WAR.
• Scalable Data Pipeline.
• Log Compactado.
• Segurança.
• Autenticação e Autorização.
• Criptografia.

Carga Horária:

• 24 Horas.

Pré-Requisitos:

• Conhecimento Básico em comandos Bash Shell/Linux.
• Conhecimentos de Redes e Infraestrutura.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8 GB.
• Espaço em Disco: 20 GB.
• Processador: 4 Cores.
• Sistemas Operacionais: GNU/Linux, Windows.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Kafka e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kafka e cursos Kafka. Caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Informações e Valores

Instrutor

O treinamento fundamental em Apache Calcite prepara profissionais para o mercado de dados, usando um mecanismos de exploração de dados de grande volume com uma diversidade de fontes de dados, e uma abstração da complexidade de suas fontes de dados de origem. O Apache Calcite fornece consulta SQL colunar, distribuída e sem esquema, para Hadoop, NoSQL e outros sistemas de armazenamento tais como HBase, MongoDB, MapRDB, HDFS, etc. Sua saída de dados pode ser consumida por conectores JDBC, Linguagens de programação ou ainda ferramentas de Business Intelligence como Pentaho Business Intelligence e outras.

Além disso, o Apache Calcite faz parte do core de diversas aplicações como Hadoop, Druid e Solr, e também de grandes empresas de Tecnologia como Uber, Alibaba e Tencent

Calendário de turmas.

Somente no modelo corporativo.

Conteúdo Programático

Conceitual.

• Introdução ao Apache Calcite.
• Introdução a Ciência de dados.
• Introdução a Big Data.
• Apache Calcite no Ecossistema de Big Data.
• A Apache Software Foundation.
• Cases de Uso do Apache Calcite.
• Empresas usando Apache Calcite.
• Open Source X Free Software.

Instalação

• Requisitos para instalação do Apache Calcite.
• Instalando o Apache Calcite.
• Configurando o Apache Calcite.

Query com Calcite

• Querys com dados delimitados.
• Calcite SQL Query Format.
• Acessando colunas em querys.
• Cabeçalhos de Dados Delimitados.
• Calcite Data Types.
• Trabalhando com formatos de datas.
• Criando Views.
• Streaming Query.

Data Sources.

• Múltiplos data Sources.
• Base de dados Relacionais.
• Query em Hadoop para Calcite.
• Query em HBase para Calcite.
• Streaming de Dados com Apache Drill e Calcite.
• Query MongoDB com Calcite.

Conectando com Apache Calcite.

• Conectando com JDBC.
• Conectando com Python.
• Conectando com R.
• Conectando com Java.
• Conectando com Javascript.
• Conectando com Ferramentas de BI.

Engenharia de dados

• Schema-on-Read.
• SQL Relational Model.
• Data Source Inference.
• File Type Inference.
• Distributed File Scans.
• JSON Objects.
• Usando Calcite com Parquet

Aproveitamento/Integrações com Calcite.

• Integrações em web app.
• Integrações em data manegement.
• Integrações com outras aplicações semelhantes

Carga Horária.

• 24 Horas.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou Mac OS)
• Conhecimento Básico de de SQL.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todo o software Apache Calcite e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Calcite e cursos Apache Calcite. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

O Treinamento em Metabase ensina a explorar, organizar e visualizar dados e realizar investigações na Community Edition, usando a interface intuitiva do Metabase para criar painéis e o construtor de visualização sem código para consultar a maioria dos bancos de dados SQL do mercado. O curso também cobre os recursos mais recentes da ferramenta, como criação de Documents, Actions (escrita de volta no banco) e integração com IA via servidor MCP.
O Software Metabase é de código aberto e fácil de usar, para que todos em sua empresa façam perguntas e aprendam com os dados sem depender de SQL.

Calendário de turmas.

Dificuldade: Baixa.

Aplicabilidade

Este treinamento foi desenvolvido usando o Metabase Open Source (Community) Edition v0.63 e foi modificado pela última vez em 20 de Agosto de 2026.

Conteúdo Programático

Conceitual

• Introdução a Data Visualization.
• O Software Metabase.
• Software Livre x Open Source.
• Licença AGPL v3.
• Licenciamento do Metabase: Community x Cloud x Enterprise.
• Histórico do Metabase.
• Empresas usando Metabase no Mundo.
• Empresas usando Metabase no Brasil.
• Comunidade Metabase.
• Versões do Metabase e política de suporte (releases padrão x LTS).

Metabase.

• Arquitetura do Metabase.
• Componentes do Metabase.
• Database e Data Lake.
• Data Model.
• Datawarehouse.
• Dimensão, Chave primária, Medida.
• Collections (organização de conteúdo)
• Permissões (nível Community: coleção e dados)

Instalação e configuração.

• Requisitos de instalação.
• Versão do Java.
• Configurações do Java.
• Instalando Metabase (jar).
• Metabase com Docker.
• Metabase com Kubernetes.
• Metabase CLI (workflows via terminal).

Conexões

• Criando conexões.
• Bancos de dados suportados (PostgreSQL, MySQL, MariaDB, BigQuery, Snowflake, Redshift, MongoDB, ClickHouse).
• Data Preferences.
• Sincronização e escaneamento de bases (Sync and Scan).
• Upload de dados via CSV.
• Pesquisa (Search).

Analisando Dados

• Consulta com base em pergunta simples.
• Consulta com base em pergunta customizada.
• Consulta Nativa SQL.
• Sumarizando (Summarize) e Breakout.
• Filtros.
• Joins.
• Time Series.
• Custom Expression.
• Custom Column.
• Cross-filtering.
• Custom Question e Custom Destination.
• Models (diferença entre Question, Model e Metric).
• Metrics Explorer (camada de métricas reutilizáveis).
• Actions, básicas e customizadas (escrita de volta no banco).
• Alertas.
• Exportando dados.

Data Visualization

• Dashboard.
• Tipos de gráficos: Line, Bar, Area, Combo, Number, Table, Pivot Table, Funnel, Gauge, Progress bar, Scatterplot/Bubble, Pie/Donut/Sunburst, Waterfall, Sankey, Treemap, Box plot, Detail chart.
• Tooltips.
• Drill-through.
• Dashboard filters e Linked filters.
• Dashboard interactivity.
• Charts com múltiplas séries.
• Dashboard subscriptions (agendamento de envio).
• Documents, relatórios combinando texto (Markdown) e gráficos, com comentários e menções (estilo Notion/Jupyter).
• Compartilhando Dashboards.
• Notebook Editor.
• Guest Embedding (links públicos/estáticos).

Data Studio

• Visão geral do Data Studio e da Library.
• Managing tables.
• Measures e Segments.
• Data reference / glossário de modelagem.
• Dependency graph (mapa de dependências entre objetos).
• Transforms: Query transforms.
• Transforms: Python transforms e Python runner (execução local).
• Jobs e runs de transforms.

Metabase AI na Community

• Visão geral da IA no Metabase e o que está disponível em cada edição.
• Servidor MCP do Metabase — conectando a clientes de IA (ex. Claude Desktop, Cursor) trazendo seu próprio modelo.
• Geração assistida de SQL (nível básico, disponível na Community)
• O que é exclusivo do Metabot pago (perguntas em linguagem natural completas, resumo de gráficos, debugging assistido).

Metabase Admin

• Configurando SMTP.
• Agendando envio de dashboards por email.
• Migrando o database H2 para PostgreSQL.
• Configurando informações de localização.
• Convidando novos usuários para o time.
• Autenticação básica: LDAP e Google Sign-In
• Two-factor authentication.
• API Keys.
• Content verification e X-rays.
• History (histórico de alterações).
• Admin tools e Usage analytics (nível Community).

API

• API do Metabase.
• Autenticação via API Keys.
• Visão geral do Agent API (uso programático com IA).

Carga Horária.

• 24 Horas.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou Mac OS)
• Conhecimento Básico de de SQL.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todo o software Metabase e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Próxima turma

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Metabase e cursos Metabase . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

O curso ou treinamento Apache Spark com Databricks foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Spark da DataBricks na AWS (Amazon Web Services), Microsoft Azure ou Google Cloud, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Scala e o Framework Apache Spark. Entender as principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Spark e interações com outros projetos do ecossistema DataBricks necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.

Turmas Somente inCompany

Conteúdo Programático

Conceitual Big Data e Databricks

• Visão geral sobre DataBricks.
• DataBricks Plataform.
• DataBricks Community X DataBricks Premium.
• Ecossistema DataBricks.
• Quem usa o DataBricks.
• Cases do uso DataBricks.
• Free Software(GLP) X Open Source(BSD e Apache).
• Delta Lake.
• DataBricks na AWS.
• DataBricks na Azure (Azure DataBricks).
• DataBricks Community.
• change data capture (CDC).
• Data engineering.
• Scala X Python.

Cluster na Cloud.

• Configurando o Ambiente na Azure.
• Databricks Job scheduling.
• Deploy Structured Streaming.

Notebooks.

• Apache Zeppelin.
• Interpreters.
• Markdown.
• Databricks Notebook.

Introdução a Linguagem Scala

• Apresentando o Scala.
• Instalando Scala.
• Journey - Java para Scala
• First Dive -  Interactive Scala.
• Escrevendo scripts Scala - Compilando Programas Scala.
• Basico em Scala.
• Tipos Básicos Scala.
• Definindo Funções.
• IDE para Scala.
• Scala Community.

Linguagem Scala.

• Imutabilidade em Scala - Semicolons.
• Declaração método.
• Literais.
• Listas.
• Tuplas.
• Opções.
• Maps.
• Palavras reservadas.
• Operadores.
• Regras de precedência.
• If Statements.
• Scala Para Compreensão.
• While Loops, Do-While Loops.
• Operadores condicionais.
• Pattern Matching.
• Enumerações.
• Traits Intro - Traits as Mixins.
• Stackable Traits.
• Criando Traits e OOPS - Classes and Objetos Básicos.
• Construtores Scala.
• Nested Classes.
• Visibility Rules.

Programação Funcional em Scala.

• O que é programação funcional?
• Literais funcionais e Closures.
• Recursão.
• Tail Calls.
• Estruturas de Dados Funcionais.
• Parâmetros das Funções implícitas.
• Chamada por nome.
• Chamada por Valor.

Apache Spark no DataBricks.

• Invocando Spark Shell.
• Criando o Contexto Spark.
• Carregando um arquivo no Shell.
• Realizando algumas operações básicas em arquivos em Spark Shell.
• Construindo um Projeto com sbt.
• Executando o Projecto Spark com sbt.
• Caching Overview, Persistência Distribuído.
• Spark Streaming Overview.
• Exemplo: Streaming Word Count.

RDD - Resilient Distributed Dataset no Databricks.

• Transformações no RDD.
• Ações em RDD.
• Carregando dados em RDD.
• Salvando dados através RDD.
• Key-Value Pair RDD.
• MapReduce e Operações RDD Pair.
• Integração Scala e Hadoop.
• Arquivos de seqüência.
• Usando Partitioner e seu impacto na melhoria do desempenho.

SparkSQL e Dataframe no Databricks.

• Dataframe.
• SparkSQL
• DataSets.
• SparkSQL API.

Armazenamento

• Databricks File System - DBFS.
• Databricks IO Cache.
• Amazon S3.
• Trabalhando arquivos CSV com Spark.
• Trabalhando arquivos JSON com Spark.
• Trabalhando arquivos XML com Spark.
• Introdução ao Apache Parquet.
• Trabalhando com arquivos Parquet.

Apache Streaming e Delta

• Spark Structured Streaming.
• Spark Streaming Transformations.
• Streaming Windows Transformations.
• Create Dataframes.
• Save DataFrames.
• Tables and DataFrames.
• Event Stream Processing (ESP).
• Complex Event Processing (CEP).

Gerais

• Visualizations.
• SparkML.

Carga Horária:

• 32 Horas.

Pré-requisitos dos Participantes:

• Todos alunos devem ter uma conta no Azure.
  
• Conhecimento alguma linguagem de programação.
• Noções de Big Data.
• Conhecimento de Banco de Dados e SQL.
• Conhecimento Básico de Linux.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM : 8GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• deve estar ativo a Virtualização na BIOS do equipamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Inscrições, Informações e Valores

Instrutor

O treinamento em RabbitMQ e voltado para Desenvolvedores, Arquitetos e Administradores que tem a necessidade de trabalhar com Message-broker e suas aplicações ou arquiteturas complexas.

O Software RabbitMQ é um sistema de mensagens corporativas altamente confiável que implementa o AMQP (Advanced Message Queuing Protocol).

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático.

Conceitual.

• Introdução a Big Data.
• Ecossistema de Filas.
• O Software RabbitMQ.
• Message-broker.
• Advanced Message Queuing Protocol (AMQP).
• MQ Telemetry Transport (MQTT)
• Streaming Text Oriented Messaging Protocol (STOMP).
• Software Livre x Open Source.
• Pivotal.
• Histórico do Parquet.
• Empresas usando RabbitMQ no Mundo.
• Empresas usando RabbitMQ no Brasil.
• Comunidade RabbitMQ.
• Versões do RabbitMQ.

RabbitMQ.

• Arquitetura do RabbitMQ.
• Consumer.
• Producer.
• Bindings consumers e producers.
• Mensagens e durabilidade.
• Como verificar a entrega.

Instalação do RabbitMQ.

• Requisitos.
• Pacotes e Repositórios.
• RabbitMQ com Kubernetes Operator.
• RabbitMQ com Docker.
• Memória.

CLI Tools.

• interface de linha de comando.
• RabbitMQ CLI Tools.
• rabbitmqctl.
• rabbitmq-diagnostics.
• rabbitmq-plugins.
• rabbitmq-queues.

Administração do RabbitMQ.

• rabbitmqadmin.
• Start e Stop Nodes.
• Configurações do RabbitMQ.
• Privilégios.
• Estatísticas e análise de registros.
• Enviando alertas.
• Processamento paralelo.
• O plugin RabbitMQ Management.
• Gerenciando RabbitMQ a partir do console da web.
• Administração de usuários a partir do console da web.
• Gerenciando a fila do console web.

Client Libraries.

• Java Client.
• Java e Spring.
• Spring com RabbitMQ.
• JMS Client.
• Erlang Client.

Cluster RabbitMQ.

• Arquitetura de um cluster.
• Filas.
• Configurando um cluster.
• Distribuir os nodes.
• Filas espelhadas.
• Failover e Replication.
• Load balancer-based.
• Master/Slave.
• Shovel.

RabbitMQ na Cloud.

• Amazon EC2.
• Tanzu RabbitMQ.

API REST.

• API REST do RabbitMQ.
• Estatísticas.

Gerais.

• Pentaho Data Integration e RabbitMQ.

Carga Horária.

• 24 Horas.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento Básico de Programação.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares RabbitMQ e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos em RabbitMQ e cursos em RabbitMQ. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

O treinamento Real-Time Analytics com Apache Spark Streaming e Python foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data e Analytics em Real-Time, usando as tecnologias mais modernas para processamento massivo o Spark Streaming com apoio de bibliotecas Python como Pandas e Numpy, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Python e o Framework de Open Source Apache Spark, usando os modulos Apache Spark Streaming e Spark Machine Leaning Lib. Entender os principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs e DataFrames, e saber escrever scripts Spark com acesso a HDFS e interações com outros projetos do ecossistema Hadoop necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real e finalizar apresentando as informações em componentes de visualização de dados.

Calendário de turmas.

Somente turma corporativas.

Conteúdo Programático

Conceitual Big Data e Streaming.

• Streaming de Dados.
• Stream X Batch.
• Real-time Stream.
• Visão geral sobre Hadoop.
• Características do Hadoop.
• Sistema distribuído de arquivos.
• Ecossistema Hadoop.
• Quem usa o Hadoop.
• Cases do uso Hadoop.
• Uso de Hadware comum.
• Distribuições do Hadoop (Cloudera x Hortonworks x Apache).
• Free Software(GLP) X Open Source(BSD, Apache, etc)
• Apache Software Foundation.
• Kafka x RabbitMQ x Spark Stream x Flink Stream.

Instalação do Ambiente Python e Spark.

• Pré-requisitos.
• Instalando o Python.
• Instalando uma IDE Python.
• Conhecendo o PyPI.
• Instalando Pandas.
• Instalando Numpy.
• Instalando Pyarrow.
• Instalando Py4J.
• Instalando o Spark.
• Modos do Spark.
• Standalone Cluster.

Programação Funcional em Python e PySpark.

• O que é programação funcional?
• Literais funcionais e Closures.
• Recursão.
• Tail Calls.
• Estruturas de Dados Funcionais.
• Parâmetros das Funções implícitas.
• Chamada por nome.
• Chamada por Valor.
• PySpark.
• Python Package Management.
• Virtualenv.
• PEX.

Primeiros passos em Apache Spark

• Invocando Spark Shell.
• Criando o Contexto Spark.
• Carregando um arquivo no Shell.
• Realizando algumas operações básicas em arquivos em Spark Shell.
• Construindo um Projeto com sbt.
• Executando o Projecto Spark com sbt.
• Caching Overview, Persistência Distribuído.

RDD - Resilient Distributed Dataset

• Transformações no RDD.
• Ações em RDD.
• Carregando dados em RDD.
• Salvando dados através RDD.
• Key-Value Pair RDD.
• MapReduce e Operações RDD Pair.
• Integração Python e Hadoop.
• Arquivos de seqüência.
• Usando Partitioner e seu impacto na melhoria do desempenho.

Formatos de Armazenamento

• Trabalhando arquivos CSV com Spark.
• Trabalhando arquivos JSON com Spark.
• Trabalhando arquivos XML com Spark.
• Parsing XML com Spark RDD.
• Introdução ao Apache Parquet.
• Trabalhando com arquivos Parquet.

Apache Spark SQL e PySpark.

• DataFrame API.
• Spark SQL.
• Arquitetura Spark SQL.
• Analyze Spark SQL.
• Context em Spark SQL.
• UDF.
• Spark Session.
• Column API.
• Data Types.
• Row.
• Function.
• Window.
• Grouping.

Apache Spark e Pandas.

• Apache Arrow.
• Convertendo dados para o Pandas.
• Pandas UDF.
• Pandas Function.
• PyArrow.

Analise de Dados com Python.

• NumPy.
• Pandas.
• Slicing com NumPy.
• Reshaping Arrays.
• Pandas e Dataframes.
• Pandas - Multi Dimension.
• Pandas - Group By.
• Pandas - Rashape.
• Map,Filter e Reduce.
• Lambda.
• NumPy - Join,Split.
• Array Numpy.
• SQL Join Tables Pandas.
• Pandas, NumPy e PySpark.

Apache Spark Streaming

• Spark Streaming.
• Query Management.
• Fluxo do Streaming de Dados.

Apache Spark MLlib

• Machine Learning com Apache Spark.
• Aprendizagem Supervisionada.
• Aprendizagem Não Supervisionada.
• Aprendizagem por Reforço.
• MapReduce com PySpark.
• DStreams.
• Spark MLLib - Regressão Linear.
• Spark MLLib - Classificação com Algoritmo Decision Tree.
• Spark MLLib - Classificação com Algoritmo Random Forest.
• Spark MLLib - Classificação com Algoritmo Naive Bayes.
• Spark MLLib - Clusterização com Algoritmo K-Means.
• Spark MLLib - Algoritmos de Recomendações.

Data Visualization Tools.

• Técnicas de Data Visualization.
• Matplotlib.
• Seaborn.
• ggPlot.

Carga Horária:

• 32 Horas.

Pré-requisitos dos Participantes:

• Conhecimento em Programação e Python.
• Conhecimento de Banco de Dados e SQL.
• Conhecimento Básico de Linux.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM : 8GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• deve estar ativo a Virtualização na BIOS do equipamento.
• Sistemas Operacionais:Qualquer um com suporte e Virtualização com VirtualBox.
• VirtualBox ( https://www.virtualbox.org/ ).
• Obs. Equipamentos com menos que 8GB de Memória RAM (entre 5GB e 8GB) podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento. Equipamentos com 4GB ou inferior não funcionarão para o treinamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Spark e Python e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

• Contato

Inscrições, Informações e Valores

Instrutor

O treinamento mlFlow foi elaborado para apresentar e conceituar toda plataforma e o ciclo de vida do machine learning, e atende as necessidades da mlOps, sendo o cientista de dados o profissional mais atuante nesta ferramenta. O mlFlow é uma plataforma para otimizar o desenvolvimento de aprendizado de máquina, incluindo experimentos de rastreamento, código de empacotamento em execuções reproduzíveis e compartilhamento e implantação de modelos. O mlFlow oferece um conjunto de APIs leves que podem ser usadas com qualquer aplicativo ou biblioteca de aprendizado de máquina existente (TensorFlow, PyTorch, XGBoost etc.), onde quer que você execute o código ML (por exemplo, em notebooks, aplicativos autônomos ou na nuvem).

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Data Scientist.
• O Software mlFlow.
• Software Livre x Open Source.
• Licenciamento.
• Databricks.
• Histórico do mlFlow.
• Empresas usando mlFlow no Mundo.
• Empresas usando mlFlow no Brasil.
• Comunidade mlFlow.
• Versões do mlFlow.
• Casos de Uso.

mlFlow fundamentos.

• Machine Learning Workflow.
• componentes do mlFlow.
• Arquitetura do mlFlow.
• Escalabilidade e Big Data.
• A plataforma mlFlow.
• O Workflow.
• Linguagens suportadas.
• Bibliotecas suportadas.
• Jupyter Notebook.

 Linguagem Python.

• Apresentando Python.
• Escrevendo scripts Python.
• Básico em Python.
• Tipos Básicos Python.
• Definindo Funções.
• IDE para Python.
• mlFlow Python API.

Instalação.

• Instalando o Python.
• Instalando o mlFlow.
• Instalando o Jupyter.
• Instalando o Numpy.
• Instalando Pandas.

mlFlow Tracking.

• Scikit-learn autologging.
• Local Tracking com SQLite.
• Tracking Server.
• Remore Tracking Server.
• Artifact Stores.
• Fast.ia
• Tracking UI.
• MLflowClinet.
• Bibliotecas suportadas.

mlFlow Models.

• Model Schemas.
• Input examples.
• Input Schema.
• Output Schema.
• Validate inputs.
• Storage Format.
• MLmodel Format.
• Model Signature.
• Spark MLlib.
• Python Function.
• Spacy Model.
• Deployment com Docker.
• Deployment com Apache Spark.
• Deployment Plugins.
• Model API.
• Model Customization.

mlFlow Projects.

• Backend plugins
• YARN.
• Arquivo MLproject.
• Empacotando projetos.
• Executando com Conda.
• Executando com Docker.

mlFlow Model Registry.

• UI Workflow.
• Adicionado Modelos no Registry.
• CRUD Models.
• Tags.
• Versionamento.
• Arquivamento.
• Lyfecyle.
• API Workflow.

mlFlow na Cloud.

• Deployment no Azure ML.
• Deployment no AWS SageMaker.

Gerais.

• Como criar um plugin para mlFlow.

Carga Horária.

• 24 Horas.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento Básico de Machine Learning e Data Science.
• Conhecimento em alguma linguagem de programação.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares mlFlow e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos mlFlow e cursos mlFlow . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

O treinamento em Apache Superset tem foco em ensinar como explorar, organizar e visualizar dados e realizar investigações, apresentando sua interface intuitiva para visualizar conjuntos de dados e criar painéis, e usando o construtor de visualização sem código para extrair e apresentar conjuntos de dados com a a maioria dos bancos de dados SQL do mercado.
Apache Superset é um aplicativo cloud-native software open source para exploração e visualização de dados capaz de lidar com dados em escala de petabyte. O aplicativo começou como um projeto hack-a-thon de Maxime Beauchemin enquanto trabalhava no Airbnb e entrou no programa Apache Incubator em 2017.

Calendário de turmas.

Somente no modelo corporativo no momento.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Superset e foi modificado pela última vez em 26 de Março de 2026.