Cloudera Data Platform (CDP) Data Center é uma plataforma de dados que unifica as mais recentes análises de código aberto – Spark, Impala, Hive, HBase, Kafka, Hadoop e muito mais – em um sistema de análise e gerenciamento de dados multifuncional que apresenta:
- Análise SQL com alto desempenho
- Processamento e gerenciamento de fluxo em tempo real
- Controle de acesso granular baseado em atributo
- Filtragem dinâmica de colunas e mascaramento de linhas
- Um aumento de 10x na escalabilidade de arquivos e objetos
Usei um módulo Terraform (v0.12) que implanta o CDP Data Center no Oracle Cloud Infrastructure (OCI).
Este template tem suporte para direcionar VCN/Subnets existentes para implantação do Cluster. Para ativar essa funcionalidade, use o sistema de menus de esquema para selecionar uma VCN existente e selecione subnets apropriadas para cada tipo de host do Cluster.
1. Faça o download do arquivo zip para a implantação do Cloudera Terraform com o Resource Manager.
2. Entre na Oracle Cloud Infrastructure (OCI)
3. Selecione Resource Manager e clique em Stacks
4. Clique em Create Stack.
5. Na página Stack Information, carregue o arquivo zip que você baixou na etapa 1 e clique em Next.
6. Na página Configure Variables, insira o conteúdo de uma “SSH provided key” (opcional). Nota: Se você implantar o Cloudera Manager em uma sub-rede privada, precisará de uma “VPN” ou “SSH Tunnel” através de um Edge Node para acessar o gerenciamento do cluster. Ao criar uma VPC, você deve especificar um range de endereços IPv4 para a VPC na forma de um bloco CIDR (Classes Inter-Domain Routing), por exemplo 10.0.0.0/16. Clique em Next.
7. Verifique as configurações e clique em Create.
9. No menu Terraform Actions, selecione Plan
10. Clique em Plan
11. Aguarde alguns momentos para que este trabalho seja concluído.
12. Terraform foi inicializado com sucesso.
13. Trabalho concluído com êxito!
14. Diagrama mostrando o que normalmente é implantado usando este modelo. Esses recursos são distribuídos automaticamente entre os “Fault Domains” em um “Availability Domain” para garantir a tolerância a falhas.
Referências
Learn about deploying Hadoop on Oracle Cloud Infrastructure. Available at https://docs.oracle.com/en/solutions/learn-deploy-hadoop-oci/index.html#GUID-6BC025FF-829B-4BBD-9C80-69044F61F35B
Deploy Hadoop Easily on Oracle Cloud Infrastructure Using Resource Manager. Available at https://blogs.oracle.com/cloud-infrastructure/deploy-hadoop-easily-on-oracle-cloud-infrastructure-using-resource-manager
Cloudera on Oracle Cloud Infrastructure (Terraform deployment template). Available at https://github.com/oracle-quickstart/oci-cloudera
Overview of Resource Manager. Avalilable at https://docs.cloud.oracle.com/en-us/iaas/Content/ResourceManager/Concepts/resourcemanager.htm
CDP Data Center. Avalilable at https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html