Treinamento Apache Mesos

Sobre o Treinamento

Este treinamento Apache Mesos é recomendado a técnicos que já conheçam os conceitos e o básicos da infraestrutura de Big Data e queiram ampliar seus conhecimento sobre sistemas distribuídos para ambiente de Big Data, principalmente para uso junto ao Apache Hadoop e Apache Spark.
O Apache Mesos (https://mesos.apache.org/) é uma plataforma que abstrai recursos computacionais de camada subjacentes, facilitando o desenvolvimento de sistemas distribuídos bastante escaláveis. Pode ser usada para prover uma camada de agendamento para o Docker ou atuar como uma camada de abstração para coisas como AWS. O Twitter a utilizou com grande sucesso para ajudar a escalonar sua infraestrutura, e ferramentas construídas a partir do Apache Mesos já começaram a aparecer, como o Chronos do Airbnb, um substituto do cron tolerante a falhas.

Calendário de turmas

Somente corporativos.

Objetivo

Ministrar os conceitos e técnicas de Sistemas Distribuídos no Mesos.

Público Alvo

O Treinamento Apache Mesos destina-se a profissionais de infraestrutura, arquitetos de sistemas,  engenheiros de dados e equipes de DevOps.

Dificuldade.

Avançado.

Aplicabilidade.

Este treinamento foi desenvolvido usando o Apache Mesos 1.11 e foi modificado pela última vez em 18 de Dezembro de 2022.

Conteúdo Programático:

Introdução ao Hadoop.

• Introdução ao Hadoop.
• Histórico do projeto Apache Hadoop.
• Características do Hadoop.
• Conceitos fundamentais.
• Componentes do núcleo do Hadoop.
• Ecossistema Hadoop.

Introdução ao Apache Mesos.

• Introdução ao Apache Mesos
• O projeto Apache Mesos.
• Histórico do projeto Apache Mesos.
• Versões do Apache Mesos.
• Licenciamento (Free Software X Open Source).
• Apache Software Foundation.
• Patrocinadores da Apache Software Foundation.
• Sistemas distribuídos.
• Arquitetura do Apache Mesos.
• Apache Mesos X Kubernetes.
• Principais empresas que usam Apache Mesos no Mundo.
• Principais empresas que usam Apache Mesos no Brasil.

Instalação e configuração do Apache Mesos.

• Requisitos de instalação.
• Instalando o Apache Mesos.
• Configurações de Building.
• Building Apache Mesos.
• Apache Mesos Master
• Apache Mesos Agent.
• Portas e protocolos de comunicação.
• Principais propriedades.

Apache Zookeeper.

• Apache Zookeeper.
• Recursos.
• Arquitetura.
• Data Model.
• Caso de uso.
• Projetos usando Zookeeper.

Administração do Apache Mesos.

• Agendamento e alocação de recursos.
• Resource scheduling.
• Resource allocation.
• Resources e attributes.
• Alta Performance - Master Setup.
• Tolerância a falha - Agent Setup.
• Mesosphere.
• ZooKeeper connection.
• Mesos - Master server.
• Configurando o Marathon services.
• Configurando por argumentos de  command-line.
• Replicated Log.
• Fault Tolerant Agent Setup
• Framework Rate Limiting
• Manutenção do Cluster Mesos.
• Upgrades e Downgrades.
• Logging.
• Monitoring / Metrics
• Debugging usando CLI.
• Configurando Fetcher Cache.
• Fault Domains.
• Performance Profiling.
• Memory Profiling.

Gerenciamento de Recursos.

• Atributos e Recursos para descrever os agentes que compõem um cluster.
• Usando Funções de Recursos.
• Resource Role para fair sharing.
• Resource Role Quota.
• Reservations.
• Shared Resources.
• Oversubscription.

Segurança no Apache Mesos.

• Autenticação.
• Autorização.
• SSL.
• Secrets
• Gerenciando secrets com Mesos.

Containerização.

• Overview sobre contêineres.
• Orquestração de contêineres.
• Containerizer Internals.
• Configurando o suporte de imagem do Docker para o contêiner Mesos.
• Suporte para Linux e POSIX systems.
• Docker Volume Support
• Container Sandboxes.
• Container Volumes.
• Nested Container and Task Group (Pod).
• Standalone Containers.

Redes.

• Networking Overview.
• Detalhes de Networking.
• Container Network Interface (CNI).
• Port Mapping Isolator.

Storage.

• Multiple Disks.
• Persistent Volume.
• Suporte a  Container Storage Interface (CSI).

Scheduler e Executor Development.

• Executando Workloads no Apache Mesos.
• Framework Development.
• Designing Highly Available Mesos Frameworks.
• Reconciliation.
• Task State.
• Task Health Checking.
• Scheduler HTTP API.
• Executor HTTP API.

API.

• HTTP Endpoints.
• API Client Libraries.
• API Versioning  HTTP API.
• RecordIO.
• Java API
• Operator HTTP API.
• Scheduler HTTP API.
• Executor HTTP API.
• Mesos Modules.
• Allocation Module.

Pré-requisitos de conhecimento

• Conhecimento básico Linux.
• Conhecimento básico de redes (proxy, gateway,etc).

Requisitos dos alunos

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8 GB.
• Espaço em Disco: 50GB.
• Processador: i5 ou i7 com no mínimo 4 cores.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
• Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

• 24 Horas de duração.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Mesos e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Inscrições, Informações e Valores

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Mesos, e cursos sobre Apache Mesos. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Instrutores