O treinamento mlFlow foi elaborado para apresentar e conceituar toda plataforma e o ciclo de vida do machine learning, e atende as necessidades da mlOps, sendo o cientista de dados o profissional mais atuante nesta ferramenta. O mlFlow é uma plataforma para otimizar o desenvolvimento de aprendizado de máquina, incluindo experimentos de rastreamento, código de empacotamento em execuções reproduzíveis e compartilhamento e implantação de modelos. O mlFlow oferece um conjunto de APIs leves que podem ser usadas com qualquer aplicativo ou biblioteca de aprendizado de máquina existente (TensorFlow, PyTorch, XGBoost etc.), onde quer que você execute o código ML (por exemplo, em notebooks, aplicativos autônomos ou na nuvem).

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Data Scientist.
• O Software mlFlow.
• Software Livre x Open Source.
• Licenciamento.
• Databricks.
• Histórico do mlFlow.
• Empresas usando mlFlow no Mundo.
• Empresas usando mlFlow no Brasil.
• Comunidade mlFlow.
• Versões do mlFlow.
• Casos de Uso.

mlFlow fundamentos.

• Machine Learning Workflow.
• componentes do mlFlow.
• Arquitetura do mlFlow.
• Escalabilidade e Big Data.
• A plataforma mlFlow.
• O Workflow.
• Linguagens suportadas.
• Bibliotecas suportadas.
• Jupyter Notebook.

 Linguagem Python.

• Apresentando Python.
• Escrevendo scripts Python.
• Básico em Python.
• Tipos Básicos Python.
• Definindo Funções.
• IDE para Python.
• mlFlow Python API.

Instalação.

• Instalando o Python.
• Instalando o mlFlow.
• Instalando o Jupyter.
• Instalando o Numpy.
• Instalando Pandas.

mlFlow Tracking.

• Scikit-learn autologging.
• Local Tracking com SQLite.
• Tracking Server.
• Remore Tracking Server.
• Artifact Stores.
• Fast.ia
• Tracking UI.
• MLflowClinet.
• Bibliotecas suportadas.

mlFlow Models.

• Model Schemas.
• Input examples.
• Input Schema.
• Output Schema.
• Validate inputs.
• Storage Format.
• MLmodel Format.
• Model Signature.
• Spark MLlib.
• Python Function.
• Spacy Model.
• Deployment com Docker.
• Deployment com Apache Spark.
• Deployment Plugins.
• Model API.
• Model Customization.

mlFlow Projects.

• Backend plugins
• YARN.
• Arquivo MLproject.
• Empacotando projetos.
• Executando com Conda.
• Executando com Docker.

mlFlow Model Registry.

• UI Workflow.
• Adicionado Modelos no Registry.
• CRUD Models.
• Tags.
• Versionamento.
• Arquivamento.
• Lyfecyle.
• API Workflow.

mlFlow na Cloud.

• Deployment no Azure ML.
• Deployment no AWS SageMaker.

Gerais.

• Como criar um plugin para mlFlow.

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento Básico de Machine Learning e Data Science.
• Conhecimento em alguma linguagem de programação.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares mlFlow e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos mlFlow e cursos mlFlow . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

O treinamento Kubeflow foi elaborado para apresentar e conceituar a plataforma de aprendizado de máquina Kubeflow, conhecido como Machine Learning Toolkit para Kubernetes a plataforma é de código aberto e projetada para permitir o uso de pipelines de aprendizado de máquina orquestrados em fluxos de trabalho complicados em execução no Kubernetes. Atende as necessidades da MLOps, sendo o cientista de dados o profissional mais atuante nesta ferramenta com apoio das facilidades de deploy do Kubernetes.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Avançado.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Kubeflow 1.6.1 e foi modificado pela última vez em 7 de Janeiro de 2023.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Data Scientist.
• Pipeline de dados.
• Kubernetes.
• O Software Kubeflow.
• Software Livre x Open Source.
• Licenciamento.
• Histórico do Kubeflow.
• Empresas usando Kubeflow no Mundo.
• Empresas usando Kubeflow no Brasil.
• Comunidade Kubeflow.
• Versões do Kubeflow.
• Casos de Uso com Kubeflow.

Introdução as Ferramenta de Machine Learning no Kubeflow.

• Linguagem Python.
• Jupyter Notebook.
• Chainer.
• Scikit-learn.
• PyTork.
• MPI.
• TensorFlow.
• XGBoost.

Kubeflow Applications e Scaffolding

• Chainer Operator.
• MPI Operator.
• pyTork Operator.
• XGBoost Operator.
• Fainring.
• TensorFlow batch prediction.

Instalação e arquitetura.

• Arquitetura do Kubernetes.
• Arquitetura do Kubeflow.
• Requisitos de instalação.
• Instalando o Kubeflow.
• Configurando o Kubeflow.

Distribuições Kubeflow.

• Kubeflow no Google Cloud.
• Kubeflow no AWS.
• Kubeflow no Azure.
• Kubeflow no OpenShift.

Kubeflow.

• Kubeflow UI.
• Central Dashboard.
• Kubeflow Notebooks.
• Models.
• Volumes.
• Experiments (AutoML).
• Experiments (KFP).
• Kubeflow Pipelines.
• KFServing.
• Katib.
• Training Operators.
• Runs.
• Recurring Runs.
• Artifacts.
• Kubeflow API.
• Kubeflow SDK.
• Multi-Tenancy.

ML Kubeflow.

• Fase Experimental.
• Fase em Produção.

Ferramentas Kubeflow.

• Kfctl.
• Kustomize.
• KFServiing.
• Kubeflow pipeline.

Add-Ons.

• Elyra.
• Istio.
• Kale.
• Fairing.
• Feature Store.
• Tools for serving

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico containers.
• Conhecimento Básico de Machine Learning e Data Science.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: ideal 16GB e mínimo : 10GB
• Espaço em Disco: Ideal 45GB e mínimo 30 GB.
• Processadores: 64 bits (chipsets de x64).
• CPU: 6 CPUs/núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.
• Virtualbox.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Kubeflow e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kubeflow e cursos Kubeflow. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor.

O treinamento Análise de Dados com R foi elaborado para apresentar, conceituar e colocar na pratica a linguagem R, com sua aplicabilidade para análise de grandes conjuntos de dados em diversas áreas de negócio.
O R é uma tecnologia de código aberto e tem como sua principal característica atender necessidades da analise estatística e está incorporada ou integrada a diversos outros software de analise e processamento de dados como Apache Spark, Power BI, Tableau, Pentaho, Apache Hop, Apache Nifi, entre outros, assim como conectividade aos principais bancos de dados do mercado. Cientista de dados e Analistas de dados sãos profissional atuantes nesta ferramenta, e podem aplicar seus conceitos para especializações como: People Analytics, Financial Analytics, Marketing Analytics, etc.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Intermediário.

Aplicabilidade.

Este treinamento foi desenvolvido usando a linguagem R 4.3.2 e foi modificado pela última vez em 12 de Novembro de 2023.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Cientista de Dados.
• People Analytics, Financial Analytics e outras especializações.
• O Software R.
• Software Livre x Open Source.
• Licenciamento do R.
• Histórico do R.
• R Foundation.
• Empresas usando R no Mundo.
• Empresas usando R no Brasil.
• Comunidade R.
• Versões do R.
• Casos de Uso com R.

Instalando o R.

• Instalando o Software R.
• Instalação do RStudio IDE.
• Instalação do software adicionais.

Fundamentos da Linguagem R.

• A linguagem R.
• Operadores.
• Tipos de Dados.
• Variáveis.
• Vetores.
• Matrizes.
• Listas
• Strings.
• Funções
• Expressões Regulares
• Pacotes.
• Principais Bibliotecas de R para análise de dados.
• NSE (Non-standard evaluation)
• Pipe.

RStudio IDE

• Interfaces.
• Atalhos.
• Projetos.
• Addins.
• Cheatsheets.
• Snippets.

Estrutura de Dados em R.

• Data Frames.
• Usando R para Importação.
• Lendo dados de arquivos (CSV).
• Limpeza de dados.
• Preparação de dados.
• Construindo Datasets.
• Outras fontes de dados (Excel, bases de dados, web).
• Manipulação de Banco de Dados.

Visualização de Dados em R.

• Graphics Package.
• plot.
• barplot.
• hist.
• boxplot
• scatter plot.
• Heat Map.
• ggplot2 package (qplot e ggplot).

Formatação de Dados.

• Formatando e Limpando os Dados com dplyr.
• Formatando e Limpando os Dados com tidyr.

Métodos estatísticos em R.

• Funções Estatísticas.
• Dealing.
• Probability distributions.
• Distributions (Binomial, Poisson, Normal).
• Grouping e loops.
• Conditional execution.
• Escrevendo suas funções.

Análise Preditiva e Machine Learning com R.

• Introdução à Machine Learning.
• Linear Regressions.
• Recommendations.
• Clusterin.
• KMeans.
• Classification.
• Naive Bayes.
• Decision Trees.
• Correlação entre causa e efeito.

Gerais.

• Big Data Ecosystem.
• Importação de Dados e Web Scraping.
• Text Mining.
• Subsetting, Séries Temporais e Análise Reproduzível.
• Documentação com R Markdown.
• Programação funcional com R.

Overview People Analytics - R para Recursos Humanos.

• Fundamentos de HR analytics.
• Interpretação de dados.
• Storytelling.
• Aquisição de dados.
• Data-Management Tools.

Carga Horária.

• 32 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico de Estatística é recomendável.
• Conhecimento Básico de programação é recomendável.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 30 GB
• Processadores: 64 bits (chipsets de x64).
• CPU: 4 CPUs/núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.
• Virtualbox.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares R e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos R e cursos R. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor.

O treinamento BentoML prepara profissionais para utilizar framework Python utilizado para servir modelos de aprendizado de máquina em produção em escala. Os modelos fornecidos são independentes de seu ambiente; todos os artefatos de modelo, código-fonte e dependências são encapsulados em um formato autocontido chamado Bento. É como ter seu modelo "como um serviço". Entenda o BentoML como o Docker para modelos de ML gerando imagens de Virtual Machines com APIs pré-programadas prontas para implantação e inclui recursos que facilitam para testar essas imagens. O BentoML pode ajudar a acelerar o esforço iniciais de desenvolvimento de projetos de Machine Learning.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Avançado.

Aplicabilidade.

Este treinamento foi desenvolvido usando o BentoML V1.0.12 e foi modificado pela última vez em 14 de Janeiro de 2023.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Data Scientist.
• Pipeline de dados.
• A Linguagem Python.
• O Software BentoML.
• Software Livre x Open Source.
• Licenciamento.
• Histórico do BentoML.
• Empresas usando BentoML no Mundo.
• Empresas usando BentoML no Brasil.
• Comunidade BentoML.
• Versões do BentoML.
• BentoML Cloud.
• Casos de Uso com BentoML.

Introdução as Frameworks de Machine Learning no BentoML.

• Scikit-learn.
• Pandas
• PyTork.
• TensorFlow.
• XGBoost.
• Jupyter Notebook.

Arquitetura do BentoML.

• Arquitetura do BentoML.
• Bento Client.
• Bento Server.
• Frameworks de Machine Learning suportados.

Instalação do BentoML.

• Requisitos de instalação.
• Instalando o BentoML com Docker.
• Configurando o BentoML.
• gRPC X HTTP.
• YAML.
• Docker.
• Bentoctl.

Modelos no BentoML

• Modelos
• Preparando Modelos.

Serviços.

• Services.
• Criando um Service.
• Debugging Runners.
• Route.
• Inference Context.
• IO Descriptors.
• Schema e Validação.
• Pandas DataFrame.
• JSON.
• Composite Types.
• Usando modelos em Serviços.

Building BentoML.

• Construindo Bentos.
• Gerenciando Bentos.
• Local Bento Store.
• Import and Export.
• Push and Pull.
• Bento Build Options
• Python Packages.

Generate Docker.

• Deploying Bentos.
• Containerize Bentos.
• Deploy via Web UI.
• Deploy via kubectl.
• Deploy with bentoctl

API.

• Service API.
• Bento Store APIs.
• Metric APIs.
• Framework API.
• BentoML CLI.
• Deploy API.

Integrações.

• Apache Airflow.
• Apache Flink.
• MLFlow.

Segurança

• Securing Endpoint Access.
• Server Side Authentication.
• Security Policy.

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico containers.
• Conhecimento Básico de Machine Learning e Data Science.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: ideal 8GB
• Espaço em Disco: 30 GB.
• Processadores: 64 bits (chipsets de x64).
• CPU: 4 CPUs/núcleos.
• Sistemas Operacionais: GNU/Linux, Windows.
• Virtualbox.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares BentoML e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos BentoML e cursos BentoML. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor.

O treinamento fundamental em Apache Drill prepara profissionais para o mercado de analise e ciência de dados, usando um mecanismos de exploração de dados de grande volume com uma diversidade de fontes de dados, e uma abstração da complexidade de suas fontes de dados de origem. O Apache Drill fornece consulta SQL colunar, distribuída e sem esquema, para Hadoop, NoSQL e outros sistemas de armazenamento tais como HBase, MongoDB, MapRDB, HDFS, MapRFS, Amazon S3, etc. Sua saída de dados pode ser consumida por conectores JDBC, Linguagens de programação ou ainda ferramentas de Business Intelligence como Pentaho Business Intelligence e outras.

Objetivo

Ministrar as principais funcionalidades e técnicas do Apache Drill para exploração de dados.

Público Alvo

Cientistas de dados, Analistas de Business Intelligence, DBAs, Engenheiro de dados, Desenvolvedores.

Conteúdo Programático.

Conceitual Apache Drill.

• Introdução ao Apache Drill.
• Introdução a Ciência de dados.
• Introdução a Big Data.
• Apache Drill no Ecossistema de Big Data.
• A Apache Software Foundation.
• Cases de Uso do Apache Drill.
• Empresas usando Apache Drill.
• Dremel/Google BigQuery X Apache Drill.
• Open Source X Free Software.

Instalação do Apache Drill.

• Requisitos para instalação do Apache Drill.
• Instalando o Apache Drill (Embeeded Mode).
• Preparando o Cluster.
• Instalando o Apache Drill (Distributed Mode).
• Configurando o Apache Drill.
• Configurando ZooKeeper.
• Configurando o Storage.

Querys com Apache Drill.

• Querys com dados delimitados.
• Drill SQL Query Format.
• Criando fonte de dados.
• Definindo o ambiente de trabalho.
• Acessando colunas em querys.
• Cabeçalhos de Dados Delimitados.
• Função Table.
• Drill Data Types.
• Trabalhando com formatos de datas.
• Criando Views.
• Analisando dados com Apache Drill.
• Palavras reservadas.

Analise de Dados Complexos

• Arrays e Maps.
  
• Analisando logs com Drill.
• Query com Nested Data.

Data Sources com Drill.

• Múltiplos data Sources.
  
• Base de dados Relacionais.
• Query em Hadoop para Drill.
• Query em HBase para Drill.
• Streaming de Dados com Apache Drill e Kafka.
• Query MongoDB com Drill.
• Drill com Cloud Storage.

Conectando ao Apache Drill.

• Conectando com JDBC.
  
• Conectando com Python.
• Conectando com R.
• Conectando com Java.
• Conectando com Ferramentas de BI.

Engenharia de dados com Apache Drill.

• Schema-on-Read.
  
• SQL Relational Model.
• Data Source Inference.
• File Type Inference.
• Distributed File Scans.
• JSON Objects.
• Usando Drill com Parquet.

Funções do Apache Drill.

• User-Defined Functions.
• Drill com arquivos do Planilhas Eletrônicas (LibreOffice Calc, MS Excel, etc).
• Geospatial Functions.
• Networking Functions.

Carga Horária:

• 24 Horas de duração.

Modalidades do Treinamento:

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos:

• Conhecimento de comandos e servidores Linux.
• Conhecimento básico em SQL.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para Online ter uma boa conectividade com a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8GB
• Espaço em Disco: 20GB
• Processador: Dual-core AMD 64, EM64T
• Sistemas Operacionais: GNU/Linux, Windows.
• VirtualBox.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Drill e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Drill e cursos Apache Drill. Caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

Sobre o Treinamento

O HUE (Hadoop User Experience) tem o foco em capacitar profissionais de dados, principalmente em Big Data, para explorar, consultar e visualizar dados em ambientes Hadoop e Data Lake utilizando o Apache Hue, uma interface web leve, amigável e integrada com ferramentas como Apache Hive, Impala, Trino e Spark SQL. O foco está no uso prático da ferramenta para análise, prototipagem de dashboards e execução de queries SQL de forma visual e colaborativa.

Calendário de turmas.

Somente no modelo corporativo no momento.

Dificuldade: Fácil.

Aplicabilidade.

Este treinamento foi desenvolvido usando o HUE 4.11.0 e foi modificado pela última vez em 22 de Junho de 2025.

Conteúdo Programático.

Conceitual HUE.

• O que é o Apache Hue.
• Hue no ecossistema Hadoop/Spark.
• Casos de uso comuns e arquitetura geral.
• Conectando ao Hive, Impala e outros motores SQL
• Comparação: Hue X Apache Zeppelin X Jupyter.
• Casos de uso: BI, Data Discovery, Data Governance.
• Arquitetura geral (com HDFS, Hive, Impala, Spark SQL).

Instalação e Configuração.

• Instalação standalone
• Estrutura de arquivos.
• O arquivo hue.ini.
• Configuração de conexão com Apache Hive, Impala, Apache Solr e Trino.
• Autenticação (LDAP - visão geral).

Navegação e Conexões com Data Lake.

• Interface principal do Hue.
• Exploração de arquivos HDFS/S3/Minio.
• Exploração de tabelas Hive e Impala.
• Upload e preview de arquivos CSV e JSON.

SQL Editor e Visualização de Resultados.

• Execução de queries em Hive/Impala/Spark SQL.
• Salvando consultas e favoritos.
• Visualização de dados (tabelas, gráficos).
• Exportação de resultados.

Gerenciamento de Tabelas

• Criação e visualização de tabelas Hive e Impala.
• Upload de arquivos CSV/JSON.
• Preview de dados.
• Criação de partições e schemas.

Visualização e Dashboards.

• Criação de dashboards interativos no Hue.
• Visualização de gráficos (barras, linhas, pizza, mapa).
• Filtros e parâmetros.
• Criação de painéis executivos.

Gerenciamento de Dados e Metadados.

• Exploração de metastore.
• Edição de schemas.
• Gerenciamento de permissões (via Hue e Apache Ranger - visão geral)

Carga Horária:

• 8 Horas de duração.

Modalidades do Treinamento:

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos:

• Conhecimento de comandos e servidores Linux.
• Conhecimento básico do Ecossistema de Big Data.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para Online ter uma boa conectividade com a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM : 8GB
• Espaço em Disco: 40GB
• Processador: 2 Cores
• Sistemas Operacionais: GNU/Linux, Windows.
• VirtualBox.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares HUE e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos HUE e cursos HUE. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

Sobre o Treinamento

Apache ORC é um formato de armazenamento de dados orientado a colunas gratuito e de código aberto. É semelhante a outros formatos de arquivo de armazenamento colunar disponíveis no ecossistema Hadoop, como RCFile e Parquet. Seu conteúdo programático oferece uma estrutura abrangente para um treinamento sobre Apache ORC, abordando desde os conceitos básicos até técnicas avançadas e aplicação prática em projetos.

Modalidades do Treinamento:

• In Company (Presencial ou Online) - Turmas fechadas para empresas a custo único para até 15 Alunos.

Conteúdo Programático.

Conceitual Apache ORC.

• O que é Apache ORC?
• Vantagens e benefícios do uso do Apache ORC.
• História e evolução do Apache ORC.
• Empresas usando Apache ORC no Brasil
• Apache ORC X Apache Parquet X RCFile.

Estrutura Interna do Apache ORC.

• Visão geral da estrutura de arquivo ORC.
• Compreensão dos tipos de dados suportados.
• Exploração da compactação e codificação de dados.
• ACID support.
• Types.
• Indexes.

Configuração e Instalação

• Instalação do Apache ORC em diferentes ambientes (local, cluster, cloud).
• Configuração inicial e ajustes recomendados.
• Building ORC.

Escrita de Dados no Formato ORC.

• Como escrever dados no formato ORC usando diversas linguagens (Python, Java, etc.).
• Melhores práticas para otimização da escrita.
• ORC Adopters.

Leitura de Dados no Formato ORC

• Como ler dados ORC em diferentes ambientes e linguagens.
• Otimização da leitura de dados.

Otimização e Desempenho

• Estratégias para otimizar consultas em dados ORC.
• Uso de índices e estatísticas para melhorar o desempenho.

Compactação e Particionamento

• Estratégias para compactação eficiente de dados ORC.
• Particionamento de dados para melhorar o desempenho.

Integração com Ferramentas de Big Data

• Integração do Apache ORC com ecossistemas de Big Data como Hadoop e Spark.
• Uso de ORC em pipelines de dados.
• Java Tools.
• Hive DDL.
• Hive Configuration.

Casos de Uso Avançados

• Estudos de caso avançados de uso do Apache ORC em ambientes reais.
• Migração de dados para o formato ORC.
• Spark DDL.
• Spark Configuration.

Projeto Prático

• Desenvolvimento de um projeto prático utilizando o Apache ORC.
• Implementação de técnicas aprendidas ao longo do curso.

Carga Horária:

• 16 Horas de duração.

Modalidades do Treinamento:

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos:

• Conhecimento de comandos e servidores Linux.
• Conhecimento básico de desenvolvimento.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para Online ter uma boa conectividade com a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM : 8GB
• Espaço em Disco: 20GB
• Processador: Dual-core AMD 64, EM64T
• Sistemas Operacionais: GNU/Linux, Windows.
• VirtualBox.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache ORC e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache ORC e cursos  Apache ORC. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

Instrutor

O treinamento em Apache Superset tem foco em ensinar como explorar, organizar e visualizar dados e realizar investigações, apresentando sua interface intuitiva para visualizar conjuntos de dados e criar painéis, e usando o construtor de visualização sem código para extrair e apresentar conjuntos de dados com a a maioria dos bancos de dados SQL do mercado.
Apache Superset é um aplicativo cloud-native software open source para exploração e visualização de dados capaz de lidar com dados em escala de petabyte. O aplicativo começou como um projeto hack-a-thon de Maxime Beauchemin enquanto trabalhava no Airbnb e entrou no programa Apache Incubator em 2017.

Calendário de turmas.

Somente no modelo corporativo no momento.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Superset e foi modificado pela última vez em 26 de Março de 2026.