Implantação do Cloudera CDP Data Center no Oracle Cloud Infrastructure (OCI)

Implantação do Cloudera CDP Data Center no Oracle Cloud Infrastructure (OCI)

Cloudera Data Platform (CDP) Data Center é uma plataforma de dados que unifica as mais recentes análises de código aberto – Spark, Impala, Hive, HBase, Kafka, Hadoop e muito mais – em um sistema de análise e gerenciamento de dados multifuncional que apresenta:

  • Análise SQL com alto desempenho
  • Processamento e gerenciamento de fluxo em tempo real
  • Controle de acesso granular baseado em atributo
  • Filtragem dinâmica de colunas e mascaramento de linhas
  • Um aumento de 10x na escalabilidade de arquivos e objetos

Usei um módulo Terraform (v0.12) que implanta o CDP Data Center no Oracle Cloud Infrastructure (OCI).

Este template tem suporte para direcionar VCN/Subnets existentes para implantação do Cluster. Para ativar essa funcionalidade, use o sistema de menus de esquema para selecionar uma VCN existente e selecione subnets apropriadas para cada tipo de host do Cluster.

 

1. Faça o download do arquivo zip para a implantação do Cloudera Terraform com o Resource Manager.

2. Entre na Oracle Cloud Infrastructure (OCI)

3. Selecione Resource Manager e clique em Stacks

 

 

4. Clique em Create Stack.

 

 

5. Na página Stack Information, carregue o arquivo zip que você baixou na etapa 1 e clique em Next.

 

6. Na página Configure Variables, insira o conteúdo de uma “SSH provided key” (opcional). Nota: Se você implantar o Cloudera Manager em uma sub-rede privada, precisará de uma “VPN” ou “SSH Tunnel” através de um Edge Node para acessar o gerenciamento do cluster. Ao criar uma VPC, você deve especificar um range de endereços IPv4 para a VPC na forma de um bloco CIDR (Classes Inter-Domain Routing), por exemplo 10.0.0.0/16. Clique em Next.

 

7. Verifique as configurações e clique em Create.

 

9. No menu Terraform Actions, selecione Plan

 

10. Clique em Plan

 

11. Aguarde alguns momentos para que este trabalho seja concluído.

 

12. Terraform foi inicializado com sucesso.

 

13. Trabalho concluído com êxito!

 

14. Diagrama mostrando o que normalmente é implantado usando este modelo. Esses recursos são distribuídos automaticamente entre os “Fault Domains” em um “Availability Domain” para garantir a tolerância a falhas.

 

Referências

Learn about deploying Hadoop on Oracle Cloud Infrastructure. Available at https://docs.oracle.com/en/solutions/learn-deploy-hadoop-oci/index.html#GUID-6BC025FF-829B-4BBD-9C80-69044F61F35B

Deploy Hadoop Easily on Oracle Cloud Infrastructure Using Resource Manager. Available at https://blogs.oracle.com/cloud-infrastructure/deploy-hadoop-easily-on-oracle-cloud-infrastructure-using-resource-manager

Cloudera on Oracle Cloud Infrastructure (Terraform deployment template). Available at https://github.com/oracle-quickstart/oci-cloudera

Overview of Resource Manager. Avalilable at https://docs.cloud.oracle.com/en-us/iaas/Content/ResourceManager/Concepts/resourcemanager.htm

CDP Data Center. Avalilable at https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html