Guia de Referência do OneFS com HDFS · o file system para clients de computação do Hadoop. O...

IsilonOneFSVersão 8.0.0 - 8.1.0

Guia de Referência do HDFS

Copyright © 2017 Dell Inc. ou suas subsidiárias. Todos os direitos reservados.

Publicado em Maio 2017

A Dell assegura que as informações apresentadas neste documento estão corretas na data da publicação. As informações estão sujeitas a

alterações sem prévio aviso.

AS INFORMAÇÕES CONTIDAS NESTA PUBLICAÇÃO SÃO FORNECIDAS “NO ESTADO EM QUE SE ENCONTRAM”. A DELL NÃO GARANTE

NENHUM TIPO DE INFORMAÇÃO CONTIDA NESTA PUBLICAÇÃO, ASSIM COMO SE ISENTA DE GARANTIAS DE COMERCIALIZAÇÃO OU

ADEQUAÇÃO DE UM PRODUTO A UM PROPÓSITO ESPECÍFICO. O USO, A CÓPIA E A DISTRIBUIÇÃO DE QUALQUER SOFTWARE DA DELL

DESCRITO NESTA PUBLICAÇÃO EXIGE UMA LICENÇA DE SOFTWARE.

Dell, EMC e outras marcas comerciais são marcas comerciais da Dell Inc. ou de suas subsidiárias. Outras marcas comerciais aqui mencionadas

pertencem a seus respectivos proprietários. Publicado no Brasil.

EMC BrasilRua Verbo Divino, 1.488 – 4º andar São Paulo – SP – 04719-002 0800-553622Tel.: (11) 5185-8800 Fax: (11) 5185-8999www.DellEMC.com/pt-br/index.htm

2 OneFS 8.0.0 - 8.1.0 Guia de Referência do HDFS

Visão geral de como o HDFS funciona com o OneFS 5Como o Hadoop é implementado no OneFS..................................................6Distribuições do Hadoop compatíveis com o OneFS..................................... 7Arquivos e diretórios do HDFS......................................................................7Contas de usuários e grupos do Hadoop.......................................................8HDFS e SmartConnect................................................................................. 8

Configurando o OneFS com o HDFS 11Ativar as licenças do HDFS e do SmartConnect Advanced..........................12Configurando o serviço HDFS..................................................................... 12

Visão geral das configurações do serviço HDFS............................. 12Habilitar ou desabilitar o serviço HDFS (interface do usuário naWeb).............................................................................................. 13Habilitar ou desabilitar o serviço HDFS (CLI)................................. 13Definir configurações do serviço HDFS (interface do usuário naWeb).............................................................................................. 13Definir configurações do serviço HDFS (CLI)................................. 14Exibir configurações do HDFS (interface do usuário na Web)........ 14Exibir configurações do HDFS (CLI)...............................................14Modificar os níveis de registro do HDFS (CLI)............................... 15Exibir níveis de registro do HDFS (CLI).......................................... 15Definir o diretório raiz do HDFS (interface do usuário na Web)...... 15Definir o diretório raiz do HDFS (CLI)............................................ 15

Configurando de métodos de autenticação do HDFS.................................. 16Métodos de autenticação HDFS compatíveis................................. 16Definir o método de autenticação do HDFS (interface do usuário naWeb).............................................................................................. 17Definir o método de autenticação do HDFS (CLI)...........................17Configurar a autenticação Kerberos para clients do Hadoop (CLI)....18

Criar um usuário local do Hadoop................................................................ 18Criar um usuário local do Hadoop (interface do usuário na Web)... 18Criar um usuário local do Hadoop (CLI).......................................... 19

Habilitando a API REST WebHDFS..............................................................19Habilitar ou desabilitar a WebHDFS (interface do usuário na Web)...19Habilitar ou desabilitar a WebHDFS (CLI)......................................20

Configurando personificação segura...........................................................20Criar um usuário proxy (interface do usuário na Web)................... 20Criar um usuário proxy (CLI).......................................................... 21Modificar um usuário proxy (interface do usuário na Web)............22Modificar um usuário proxy (CLI).................................................. 22Exibir usuários proxy (interface do usuário na Web)...................... 22Exibir usuários proxy (CLI).............................................................23Exibir a lista de membros de um usuário proxy (CLI)......................23Excluir um usuário proxy (interface do usuário na Web)................ 23Excluir um usuário proxy (CLI).......................................................24

Configurar racks virtuais do HDFS..............................................................24Criar um rack virtual do HDFS (interface do usuário na Web)........24Criar um rack virtual do HDFS (CLI).............................................. 25

Capítulo 1

Capítulo 2

CONTEÚDO

OneFS 8.0.0 - 8.1.0 Guia de Referência do HDFS 3

Modificar um rack virtual do HDFS (interface do usuário na Web)....25Modificar um rack virtual do HDFS (CLI).......................................25Exibir racks virtuais do HDFS (interface do usuário na Web).........26Exibir racks virtuais do HDFS (CLI)............................................... 26Excluir um rack virtual do HDFS (interface do usuário na Web).....27Excluir um rack virtual do HDFS (CLI)........................................... 27

Configurando a criptografia de transmissão do HDFS.................................28Configurar a criptografia de transmissão do HDFS (interface dousuário na Web).............................................................................28Configurar a criptografia de transmissão do HDFS (CLI)...............29

OneFS com referência de comandos do HDFS 31Comandos de HDFS....................................................................................32

isi hdfs log-level modify................................................................. 32isi hdfs log-level view.....................................................................32isi hdfs proxyusers create.............................................................. 32isi hdfs proxyusers modify............................................................. 34isi hdfs proxyusers delete.............................................................. 36isi hdfs proxyusers members list.................................................... 36isi hdfs proxyusers list....................................................................37isi hdfs proxyusers view.................................................................38isi hdfs racks create.......................................................................39isi hdfs racks modify...................................................................... 39isi hdfs racks delete....................................................................... 40isi hdfs racks list.............................................................................41isi hdfs racks view..........................................................................42isi hdfs ranger-plugin settings modify............................................ 42isi hdfs ranger-plugin settings view................................................42isi hdfs settings modify.................................................................. 43isi hdfs settings view......................................................................44

Recursos adicionais 45Componentes HDFS de terceiros............................................................... 46

Ambari........................................................................................... 46Suporte a Apache Ranger.............................................................. 48

Usando o Hadoop com o Isilon....................................................................49Compartilhe sua opinião conosco............................................................... 50Onde obter suporte.....................................................................................51

Capítulo 3

Capítulo 4

CONTEÚDO


CAPÍTULO 1

Visão geral de como o HDFS funciona com oOneFS

Este capítulo apresenta informações sobre como o HDFS (Hadoop Distributed FileSystem) pode ser implementado com o IsilonOneFS.

l Como o Hadoop é implementado no OneFS......................................................... 6l Distribuições do Hadoop compatíveis com o OneFS.............................................7l Arquivos e diretórios do HDFS............................................................................. 7l Contas de usuários e grupos do Hadoop...............................................................8l HDFS e SmartConnect.........................................................................................8

Visão geral de como o HDFS funciona com o OneFS 5

Como o Hadoop é implementado no OneFSEm uma implementação do Hadoop em um cluster do Isilon, o IsilonOneFS atua comoo file system para clients de computação do Hadoop. O HDFS (Hadoop Distributed FileSystem) é compatível como um protocolo que é utilizado pelos clients de computaçãodo Hadoop para acessar os dados na camada de armazenamento do HDFS.

Os clients de computação do Hadoop podem acessar os dados que estão armazenadosem um cluster do Isilon conectando-se a qualquer nó por meio do protocolo HDFS.Além disso, todos os nós que são configurados para HDFS oferecem a funcionalidadeNameNode e DataNode, conforme exibido na ilustração a seguir.

Figura 1 Implementação Hadoop do EMC Isilon

Todos os nós impulsionam o desempenho e expandem a capacidade do cluster. Paralógica analítica do Hadoop, a arquitetura distribuída de scale-out do Isilon minimiza osgargalos, oferece Big Data rapidamente e otimiza o desempenho.

Como uma implementação Hadoop do IsilonOneFS difere de uma implementaçãoHadoop tradicional

Uma implementação do Hadoop com o OneFS difere de uma implementação comumdo Hadoop das seguintes maneiras:

l As camadas de armazenamento do HDFS e os níveis de computação do Hadoopficam em clusters separados, e não no mesmo cluster.

l Em vez de armazenar os dados em um HDFS, a funcionalidade da camada dearmazenamento é atendida pelo OneFS em um cluster do Isilon. Os nós do clusterdo Isilon funcionam tanto como um NameNode quanto como um DataNode.

Visão geral de como o HDFS funciona com o OneFS


l O nível de computação é estabelecido em um cluster de computação do Hadoopque é separado do cluster do Isilon. O framework MapReduce do Hadoop e seuscomponentes são instalados somente no cluster de computação do Hadoop.

l Em vez de ser implementado em uma camada de armazenamento, o HDFS éimplementado no OneFS como uma camada leve e nativa de protocolo entre ocluster do Isilon e o cluster de computação do Hadoop. Os clients do cluster decomputação do Hadoop se conectam por meio do HDFS para acessar os dados docluster do Isilon.

l Além do HDFS, os clients do cluster de computação do Hadoop podem se conectarao cluster do Isilon por meio de qualquer protocolo ao qual o OneFS dê suporte,como NFS, SMB, FTP e HTTP. O IsilonOneFS é a única implementação não padrãodo HDFS oferecida que permite acesso por vários protocolos. O Isilon é umsistema de armazenamento ideal alternativo ao HDFS nativo, combinando serviçosdo HDFS com recursos corporativos de gerenciamento de dados.

l Os clients de computação do Hadoop podem se conectar a qualquer nó do clusterdo Isilon que funcione como um NameNode, em vez de serem roteados por um sóNameNode.

Distribuições do Hadoop compatíveis com o OneFSVocê pode executar a maioria das distribuições comuns do Hadoop com o cluster doIsilon.

O OneFS dá suporte a muitas distribuições do HDFS (Hadoop Distributed FileSystem). Essas distribuições são atualizadas independentemente do OneFS e combase em seus próprios agendamentos.

Para obter as informações mais recentes sobre distribuições do Hadoop compatíveiscom o OneFS, consulte a página Hadoop Distributions and Products Supported byOneFS da Isilon Community Network.

Arquivos e diretórios do HDFSVocê deve configurar um diretório raiz do HDFS em cada zona de acesso do OneFSque conterá os dados acessíveis aos clients de computação do Hadoop. Quando umclient de computação do Hadoop se conecta ao cluster, o usuário pode acessar todosos arquivos e subdiretórios do diretório raiz especificado. O diretório padrão do HDFSé /ifs.

Observe o seguinte:

l Associe cada pool de endereços IP do cluster a uma zona de acesso. Quando osclients de computação do Hadoop se conectarem ao cluster do Isilon por meio dedeterminado pool de endereços IP, os clients somente poderão acessar os dadosde HDFS da zona de acesso associada. Essa configuração isola os dados nas zonasde acesso e permite que você restrinja o acesso do client aos dados.

l Ao contrário das montagens de NFS ou dos compartilhamentos de SMB, os clientsque se conectam ao cluster via HDFS não podem ter acesso às pastas individuaisdo diretório raiz. Se você tiver vários workflows do Hadoop que precisam deconjuntos separados de dados, é possível criar várias zonas de acesso e configurarum diretório raiz exclusivo do HDFS para cada uma delas.

l Ao configurar diretórios e arquivos no diretório raiz, verifique se eles têm aspermissões corretas para que os clients e os aplicativos do Hadoop possamacessá-los. Os diretórios e as permissões variam conforme a distribuição, oambiente, os requisitos e as políticas de segurança do Hadoop.


Distribuições do Hadoop compatíveis com o OneFS 7

https://community.emc.com/docs/DOC-37101


https://community.emc.com/community/products/isilon

Para obter mais informações sobre as zonas de acesso, consulte o Guia deAdministração da CLI do OneFS ou o Guia de Administração da Web do OneFS parasua versão do OneFS.

Contas de usuários e grupos do HadoopAntes de implementar o Hadoop, verifique se as contas de usuário e grupo de que vocêprecisará para se conectar por HDFS estejam configuradas no cluster do Isilon.

Além disso, certifique-se de que as contas de usuário necessárias à sua distribuição doHadoop estejam configuradas no cluster do Isilon por zona. As contas de usuário deque você precisa e as configurações associadas de proprietário e de grupo variam deacordo com a distribuição, os requisitos e as políticas de segurança. Os perfis dascontas existentes no cluster do Isilon, inclusive os IDs exclusivos e IDs de grupo,devem corresponder aos perfis das contas de seus clients de computação do Hadoop.

O OneFS deve poder pesquisar um usuário ou grupo local do Hadoop por nome. Se nãohouver serviços de diretório, como Active Directory ou LDAP, que possam realizar umapesquisa de usuário, você deverá criar um usuário ou grupo local do Hadoop. Sehouver serviços de diretório disponíveis, não será necessário criar um grupo ou umaconta de usuário local.

HDFS e SmartConnectVocê pode configurar uma zona do SmartConnect para gerenciar as conexões dosclients de computação do Hadoop.

O SmartConnect é um módulo que especifica como o servidor DNS de um cluster doIsilon gerencia as solicitações de conexão dos clients. Para cada pool de endereços IPdo cluster do Isilon, você pode configurar uma zona de DNS do SmartConnect queseja um FQDN (Fully Qualified Domain Name, nome do domínio completo).

Para obter mais informações sobre o SmartConnect, consulte o Guia de Administraçãoda CLI do OneFS ou o Guia de Administração da Web do OneFS para sua versão doOneFS.

Observe o seguinte:

l Os clients de computação do Hadoop podem se conectar ao cluster pelo nome dazona de DNS do SmartConnect, e o SmartConnect distribui uniformemente assolicitações de NameNode aos endereços IP e nós do pool.

l Quando um client de computação do Hadoop faz uma solicitação inicial de DNSpara conectar-se à zona do SmartConnect, o client do Hadoop é roteado aoendereço IP de um nó do Isilon que serve como um NameNode. As solicitaçõesposteriores do client de computação do Hadoop vão para o mesmo nó. Quando umsegundo client do Hadoop faz uma solicitação de DNS para a zona doSmartConnect, o SmartConnect balanceia o tráfego e encaminha a conexão doclient para um nó diferente do utilizado pelo client anterior de computação doHadoop.

l Se você especificar uma zona de DNS do SmartConnect por meio da qual desejaque os clients de computação do Hadoop se conectem, será necessário adicionarum registro de NS (Name Server) como um domínio delegado à zona autorizada deDNS que contém o cluster do Isilon.









l No cluster de computação do Hadoop, você deve definir o valor da propriedadefs.defaultFS como o nome da zona de DNS do SmartConnect no arquivocore-site.xml.


HDFS e SmartConnect 9

CAPÍTULO 2

Configurando o OneFS com o HDFS

As seções a seguir são as etapas que você precisa executar para configurar o OneFScom o HDFS.

l Ativar as licenças do HDFS e do SmartConnect Advanced................................. 12l Configurando o serviço HDFS.............................................................................12l Configurando de métodos de autenticação do HDFS..........................................16l Criar um usuário local do Hadoop........................................................................18l Habilitando a API REST WebHDFS..................................................................... 19l Configurando personificação segura.................................................................. 20l Configurar racks virtuais do HDFS..................................................................... 24l Configurando a criptografia de transmissão do HDFS........................................ 28

Configurando o OneFS com o HDFS 11

Ativar as licenças do HDFS e do SmartConnect AdvancedAntes de usar o OneFS com o HDFS, você deve confirmar se as licenças do HDFS e doSmartConnect Advanced estão ativas.

Procedimento

1. Para confirmar se o HDFS e o SmartConnect Advanced estão instalados,execute os seguintes comandos:

isi license licenses listisi license licenses view HDFSisi license licenses view "SmartConnect Advanced"

2. Se seus módulos não estiverem licenciados, obtenha uma chave de licença deseu representante de vendas do Isilon. Para ativar a licença, digite o seguintecomando:

isi license activate --key <key>

Configurando o serviço HDFSVocê pode definir as configurações do serviço HDFS em seu cluster do Isilon paramelhorar o desempenho dos workflows do HDFS.

Visão geral das configurações do serviço HDFSAs configurações do serviço HDFS afetam o desempenho dos workflows do HDFS.

Você pode definir as seguintes configurações do serviço HDFS:

Definição Descrição

Block size A configuração do tamanho de block do HDFS no cluster do Isilon determinacomo o serviço HDFS exibirá dados mediante as solicitações de leitura doclient de computação do Hadoop.Você pode modificar o tamanho de block de HDFS do cluster para aumentaro tamanho do block de 4 KB até 1 G. O tamanho padrão do block é 128 MB.Aumentar o tamanho de block permitirá que os nós do cluster do Isilon leiame gravem dados do HDFS em blocks maiores e otimizem o desempenho damaioria dos casos de uso.

O cluster do Hadoop mantém um tamanho de block diferente que determinacomo um client de computação do Hadoop grava um block de file data nocluster do Isilon . O tamanho de block ideal depende de seus dados, de seumodo de processamento de dados e de outros fatores. Você pode configuraro tamanho de block do cluster do Hadoop no arquivo de configuração hdfs-site.xml da propriedade dfs.block.size.

Tipo dechecksum

O serviço HDFS envia o tipo de checksum aos clients de computação doHadoop, mas não envia os dados de checksum, independentemente de seutipo. O tipo de checksum padrão é definido como None. Se sua distribuição

do Hadoop exigir o envio de um tipo de checksum diferente de None para o

client, você poderá definir o tipo de checksum para CRC32 ou CRC32C.



Habilitar ou desabilitar o serviço HDFS (interface do usuário na Web)Habilite ou desabilite o serviço HDFS por zona de por acesso usando a interface Webde administração (interface do usuário na Web) do OneFS.

Procedimento

1. Clique em Protocols > Hadoop (HDFS) > Settings.

2. Na lista Current Access Zone, selecione a zona de acesso na qual desejahabilitar ou desabilitar o serviço HDFS.

3. Na área HDFS Service Settings, marque ou desmarque a caixa de seleçãoEnable HDFS service.

4. Clique em Save Changes.

Habilitar ou desabilitar o serviço HDFS (CLI)Habilite ou desabilite o serviço HDFS por zona de por acesso usando a interface delinha de comando (CLI) do OneFS.

Procedimento

1. Execute o comando isi hdfs settings modify .

O seguinte comando habilita o serviço HDFS na zone3:

isi hdfs settings modify --service=yes --zone=zone3

O seguinte comando desabilita o serviço HDFS na zone3:

isi hdfs settings modify --service=no --zone=zone3

Definir configurações do serviço HDFS (interface do usuário na Web)Defina as configurações do serviço HDFS em cada zona de acesso usando a interfaceWeb de administração do OneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual deseja definiras configurações do serviço.

3. Na área HDFS Service Settings, selecione o tamanho de block de HDFSdesejado na lista Default Block Size.

O tamanho de block do HDFS determina como o serviço HDFS exibirá dadosapós as solicitações de leitura do client de computação do Hadoop.

4. Selecione o tipo de checksum na lista Default Checksum Type.

O serviço HDFS não envia dados de checksum, independentemente do tipo dochecksum.



Habilitar ou desabilitar o serviço HDFS (interface do usuário na Web) 13

Definir configurações do serviço HDFS (CLI)Defina as configurações do serviço HDFS em cada zona de acesso usando a interfacede linha de comando do OneFS.

Procedimento

1. Execute o comando isi hdfs settings modify.

O comando a seguir configura o tamanho do block para 256 KB na zona deacesso zone3:

isi hdfs settings modify --default-block-size=256K --zone=zone3

Você deve especificar o tamanho do block em bytes. São permitidos os sufixosK, M e G.

O comando a seguir configura o tipo de checksum para crc32 na zona de acessozone3:

isi hdfs settings modify --default-checksum-type=crc32 --zone=zone3

Exibir configurações do HDFS (interface do usuário na Web)Exiba as configurações do HDFS de uma zona de acesso usando a interface Web deadministração do OneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso da qual deseja exibiras configurações do HDFS.

A guia Settings exibe as opções atuais do HDFS nas seguintes áreas:

l HDFS Service Settings

l HDFS Protocol Settings

l Ambari Server Settings

Exibir configurações do HDFS (CLI)Exiba as configurações de HDFS de uma zona de acesso usando a interface de linha decomando.

Procedimento

1. Abra uma conexão SSH (Secure Shell Protocol) com qualquer nó do cluster efaça log-in.

2. Execute o comando isi hdfs settings view.

O seguinte comando exibe as configurações de HDFS na zona de acesso zone1:

isi hdfs settings view --zone=zone1



Modificar os níveis de registro do HDFS (CLI)Você pode definir o nível padrão de registro dos eventos de serviços do HDFS paraqualquer nó do cluster do Isilon.

Este procedimento somente está disponível pela interface de linha de comando.

Procedimento

1. Abra uma conexão SSH (Secure Shell Protocol) com um nó do cluster e façalog-in.

2. Execute o comando isi hdfs log-level modify.

O seguinte comando configura o nível de registro do HDFS para rastrear o nó:

isi hdfs log-level modify --set=trace

Exibir níveis de registro do HDFS (CLI)Você pode exibir o nível padrão de registro dos eventos de serviços do HDFS paraqualquer nó do cluster do Isilon.

Este procedimento somente está disponível pela interface de linha de comando doOneFS.

Procedimento

1. Abra uma conexão SSH (Secure Shell Protocol) com um nó do cluster e façalog-in.

2. Execute o comando isi hdfs log-level view.

Definir o diretório raiz do HDFS (interface do usuário na Web)Configure um diretório raiz do HDFS em cada zona de acesso usando a interface Webde administração do OneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual desejaespecificar o diretório raiz.

3. Na área HDFS Protocol Settings e no campo HDFS Root Directory, digite oupesquise o diretório que deseja usar para o diretório raiz do HDFS.

O diretório raiz deve estar em /ifs.


Definir o diretório raiz do HDFS (CLI)Configure um diretório raiz do HDFS em cada zona de acesso usando a interface delinha de comando.

Antes de você começar

A estrutura de diretórios que você deseja configurar como o caminho da raiz já deveexistir no file system do OneFS.


Modificar os níveis de registro do HDFS (CLI) 15

Procedimento

l Execute o comando isi hdfs settings modify.

O seguinte comando especifica se os clients de computação do Hadoop que seconectam à zona de acesso zone3 têm acesso ao diretório /ifs/data/hadoop:

isi hdfs settings modify --root-directory=/ifs/zone3/hadoop --zone=zone3

Configurando de métodos de autenticação do HDFSVocê pode configurar um método de autenticação do HDFS por zona de acesso.

Quando um client de computação do Hadoop se conecta ao cluster do Isilon por meiode uma zona de acesso, o client deve se autenticar com o método especificado paraessa zona de acesso.

Obs.

Se você quiser que os clients de computação do Hadoop que estiverem executando oHadoop 2.2 e versões posteriores se conectem a uma zona de acesso por meio doKerberos, deverá configurar as propriedades de autenticação do HDFS no client doHadoop.

Métodos de autenticação HDFS compatíveisO método de autenticação determina as credenciais necessárias pelo OneFS paraestabelecer uma conexão com o client de computação do Hadoop.

Um método de autenticação do HDFS é especificado para cada zona de acesso. OOneFS dá suporte aos seguintes métodos de autenticação para HDFS:

Método deautenticação

Descrição

Simple only Requer apenas um nome de usuário para estabelecer conexões de client.

Kerberos only Requer credenciais do Kerberos para estabelecer conexões de client.

Obs.

Você deve configurar o Kerberos como um provedor de autenticação nocluster do Isilon e modificar o arquivo core-site.xml nos clients que

executam o Hadoop 2.2 e versões posteriores.

All (valorpadrão)

Aceita tanto a autenticação simples quanto as credenciais do Kerberos. Seas configurações do Kerberos e as modificações de arquivos não foremconcluídas, as conexões de client usarão a autenticação simples comopadrão.

CUIDADO

Para evitar o acesso não intencional via autenticação simples, configureo método de autenticação como Kerberos only para impor o acesso

do client via Kerberos.



Definir o método de autenticação do HDFS (interface do usuário na Web)Configure o método de autenticação do HDFS em cada zona de acesso usando ainterface Web de administração do OneFS.


Se você deseja que os clients do Hadoop se conectem a uma zona de acesso atravésdo Kerberos, um provedor de autenticação Kerberos deve ser configurado eadicionado à zona de acesso.Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso para a qual desejaespecificar o método de autenticação.

3. Na área HDFS Protocol Settings, na lista Authentication Type, selecione umdos seguintes métodos de autenticação:

l Autenticação simples e Kerberos

l Autenticação simples

l Autenticação Kerberos


Definir o método de autenticação do HDFS (CLI)Configure o método de autenticação do HDFS em cada zona de acesso usando ainterface de linha de comando.


Se você deseja que os clients do Hadoop se conectem a uma zona de acesso atravésdo Kerberos, um provedor de autenticação Kerberos deve ser configurado eadicionado à zona de acesso.Procedimento


O seguinte comando especifica que os clients de computação do Hadoop que seconectam à zone3 devem ser identificados pelo método de autenticaçãosimples:

isi hdfs settings modify --authentication-mode=simple_only --zone3

O seguinte comando especifica que os clients de computação do Hadoop que seconectam à zone3 devem ser identificados pelo método de autenticaçãoKerberos:

isi zone zones modify zone3 --authentication-mode=kerberos_only

Depois que você terminar

Para garantir que os usuários possam fazer autenticação através do Kerberos, épreciso modificar o arquivo core-site.xml em clients que executam o Hadoop 2.2 eposterior.


Definir o método de autenticação do HDFS (interface do usuário na Web) 17

Configurar a autenticação Kerberos para clients do Hadoop (CLI)Se você quiser que os clients de computação do Hadoop que estiverem executando oHadoop 2.2 e versões posteriores se conectem a uma zona de acesso por meioKerberos, deverá modificar os arquivos core-site.xml e hdfs-site.xml dosclients do Hadoop.


O Kerberos deve ser definido como o método de autenticação do HDFS na zona deacesso e um provedor de autenticação Kerberos deve ser configurado e atribuído àzona de acesso.Procedimento

1. Acesse o diretório $HADOOP_CONF em seu client do Hadoop.

2. Abra o arquivo core-site.xml em um editor de texto.

3. Defina o valor da propriedade hadoop.security.token.service.use_ip para falseconforme exibido no seguinte exemplo:

<property> <name>hadoop.security.token.service.use_ip</name> <value>false</value> </property>

4. Salve e feche o arquivo core-site.xml.

5. Abra o arquivo hdfs-site.xml em um editor de texto.

6. Defina o valor da propriedade dfs.namenode.kerberos.principal.pattern para orealm do Kerberos configurado no provedor de autenticação Kerberos,conforme exibido no seguinte exemplo:

<property> <name>dfs.namenode.kerberos.principal.pattern</name> <value>hdfs/*@storage.company.com</value> </property>

7. Salve e feche o arquivo hdfs-site.xml.

Criar um usuário local do HadoopO OneFS deve poder pesquisar usuários locais do Hadoop por nome. Se em uma zonade acesso não houver serviços de diretório que possam realizar uma pesquisa deusuário, você deverá criar um usuário local do Hadoop que faça o mapeamento a umusuário de um client de computação do Hadoop para essa zona de acesso. Se houverserviços de diretório disponíveis, não será necessário criar uma conta de usuário local.Você pode criar um usuário local do Hadoop usando a interface Web de administração(interface do usuário na Web) ou a interface de linha de comando (CLI) do OneFS.

Criar um usuário local do Hadoop (interface do usuário na Web)Crie um usuário proxy local do Hadoop usando a interface Web de administração doOneFS.

Procedimento

1. Clique em Access > Membership & Roles > Users.



2. Na lista Current Access Zone, selecione a zona de acesso na qual desejaadicionar um usuário local do Hadoop.

3. Na lista Providers, selecione LOCAL.

4. Clique em Create User e digite um nome para o usuário do Hadoop no campoUsername.

5. Clique em Create User.

Criar um usuário local do Hadoop (CLI)Crie um usuário local do Hadoop usando a interface de linha de comando.

Procedimento

1. Execute o comando isi auth users create.

O seguinte comando cria um usuário chamado hadoop-user1 e atribui o usuárioao provedor de autenticação local na zona de acesso zone3:

isi auth users create --name=hadoop-user1 --provider=local --zone=zone3

Habilitando a API REST WebHDFSO OneFS dá suporte ao acesso aos dados do HDFS por meio de aplicativos client daAPI REST WebHDFS.

A WebHDFS é uma interface de programação RESTful baseada em operações deHTTP, como GET, PUT, POST e DELETE, que está disponível para criar aplicativosclient. Os aplicativos client da WebHDFS permitem que você acesse os dados doHDFS e realize operações do HDFS via HTTP e HTTPS.

l A WebHDFS é compatível com o OneFS por zona por acesso e é habilitada demodo padrão.

l A WebHDFS dá suporte à autenticação simples ou à autenticação Kerberos. Se ométodo de autenticação do HDFS para uma zona de acesso for definido comoAll, o OneFS usará a autenticação simples para a WebHDFS.

l Para impedir o acesso não autorizado de clients via autenticação simples, desativea WebHDFS em cada zona de acesso que não deve dar suporte a ela.

Você pode especificar se o acesso aos dados do HDFS por meio de aplicativos clientda WebHDFS será compatível em cada zona de acesso usando a interface Web deadministração ou a interface de linha de comando do OneFS.

Habilitar ou desabilitar a WebHDFS (interface do usuário na Web)Configure o acesso aos dados do HDFS por meio de aplicativos client da WebHDFSusando a interface Web de administração do OneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual desejahabilitar ou desabilitar a WebHDFS.

3. Na área HDFS Protocol Settings, marque ou desmarque a caixa de seleçãoEnable WebHDFS Access.


Criar um usuário local do Hadoop (CLI) 19


Habilitar ou desabilitar a WebHDFS (CLI)Configure o acesso aos dados do HDFS por meio de aplicativos client da WebHDFSusando a interface de linha de comando.

Procedimento

1. Execute o comando isi hdfs settings modify .

O seguinte comando ativa a WebHDFS na zone3:

isi hdfs settings modify --webhdfs-enabled=yes --zone=zone3

O seguinte comando desativa a WebHDFS na zone3:

isi hdfs settings modify --webhdfs-enabled=no --zone=zone3

Configurando personificação seguraA personificação segura permite criar usuários proxy que podem imitar outros usuáriospara executar trabalhos do Hadoop.

Você pode configurar a personificação segura se você usa aplicativos, como o ApacheOozie, para agendar, gerenciar e executa automaticamente trabalhos de Hadoop. Porexemplo, você pode criar um usuário proxy de Oozie que personifica com segurançaum usuário chamado HadoopAdmin, que permite que o usuário de Oozie solicite que ostrabalhos do Hadoop sejam executados pelo usuário de HadoopAdmin.

Você configura usuários proxy para proteger a personificação segura por zona, e osusuários ou os grupos de usuários que você atribui como membros ao usuário proxydeve ser da mesma zona de acesso. Um membro pode ter um ou mais dos seguintestipos de identidade:

l Usuário especificado pelo nome de usuário ou pelo ID exclusivo

l Grupo de usuários especificado pelo nome do grupo ou pelo ID de grupo

l Usuário, grupo, máquina ou conta especificada pelo SID

l Usuário conhecido especificado pelo nome

Se o usuário proxy não apresentar credenciais válidas ou se um membro do usuárioproxy não existir no cluster, o acesso será negado. O usuário proxy somente podeacessar os arquivos e subdiretórios localizados no diretório raiz do HDFS da zona deacesso. Recomenda-se que você limite os membros que o usuário proxy podepersonificar aos usuários que têm acesso somente aos dados que o usuário proxyprecisa acessar.

Obs.

Os nomes não podem conter os seguintes caracteres inválidos:" / \ [ ] : ; | = , + * ? < >

Criar um usuário proxy (interface do usuário na Web)Crie um usuário proxy usando a interface Web de administração do OneFS.




Adicione no cluster do Isilon os usuários que deseja designar como usuários proxy oumembros. O usuário proxy e seus membros devem pertencer à mesma zona de acesso.Procedimento

1. Clique em Protocols > Hadoop (HDFS) > Proxy Users.

2. Na lista Current Access Zone, selecione a zona de acesso na qual desejaadicionar um usuário proxy.

3. Clique em Create a Proxy User.

4. No campo Name, digite ou procure o usuário que deseja designar como um novousuário proxy.

Se você procurar por um usuário, poderá pesquisar em cada provedor deautenticação atribuído à zona de acesso atual na caixa de diálogo Select a User.

5. Clique em Add a Member. A caixa de diálogo Select a User, Group, or Well-known SID será exibida.

6. Na área Search for, selecione o tipo de membro que deseja pesquisar.

Os membros podem ser usuários individuais ou grupos. É possível pesquisar umusuário ou um grupo por nome ou por um SID conhecido.

7. (Opcional) Clique em Search para exibir os resultados da pesquisa com basenos critérios de pesquisa.

8. Selecione o membro que deseja na lista Search Results e clique em Select.

A caixa de diálogo Select a User, Group, or Well-known SID será fechada.

9. Clique em Create a Proxy User.

Criar um usuário proxy (CLI)Crie um usuário proxy usando a interface de linha de comando.


Adicione ao cluster do Isilon os usuários que deseja designar como usuários proxy oumembros. O usuário proxy e seus membros devem pertencer à mesma zona de acesso.Procedimento

1. Execute o comando isi hdfs proxyusers create.

O comando a seguir designa hadoop-user23 na zone1 como um novo usuárioproxy:

isi hdfs proxyusers create hadoop-user23 --zone=zone1

O comando a seguir designa hadoop-user23 na zone1 como um novo usuárioproxy e adiciona o grupo hadoop-users à lista de membros que o usuário proxypode personificar:

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-group=hadoop-users


Criar um usuário proxy (CLI) 21

O comando a seguir designa hadoop-user23 na zone1 como um novo usuárioproxy e adiciona o UID 2155 à lista de membros que o usuário proxy podepersonificar:

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-UID=2155

Modificar um usuário proxy (interface do usuário na Web)Modifique a lista de membros personificada com segurança por um usuário proxyusando a interface Web de administração do Isilon.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual desejamodificar um usuário proxy.

3. Na lista Proxy Users, marque a caixa de seleção ao lado do usuário proxy quedeseja modificar e clique em View/Edit.

4. Na caixa de diálogo View Proxy User Details, clique em Edit Proxy User.

5. Adicione ou remova membros e, em seguida, clique em Save Changes.

Modificar um usuário proxy (CLI)Modifique a lista de membros personificada com segurança por um usuário proxyusando a interface de linha de comando.

Procedimento

1. Execute o comando isi hdfs proxyusers modify.

O seguinte comando remove um usuário com o ID do usuário 2155 e adiciona umusuário conhecido chamado LOCAL à lista de membros do usuário proxyhadoop-user23 na zone1:

isi hdfs proxyusers modify hadoop-user23 --zone=zone1 --add-wellknown=LOCAL --remove-uid=2155

Exibir usuários proxy (interface do usuário na Web)Exiba uma lista de todos os usuários proxy de uma zona de acesso e visualize osdetalhes dos usuários proxy individuais usando a interface Web de administração doOneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual deseja exibirum usuário proxy.

A lista Proxy Users exibirá todos os usuários proxy configurados na zona deacesso.

3. Na lista Proxy Users, marque a caixa de seleção ao lado do usuário proxy quedeseja exibir e clique em View/Edit.

A caixa de diálogo View Proxy User Details será exibida.



4. Quanto tiver terminado de exibir os detalhes dos usuários proxy, clique emClose.

Exibir usuários proxy (CLI)Exiba uma lista de todos os usuários proxy de uma zona de acesso e visualize osdetalhes dos usuários proxy individuais usando a interface de linha de comando.

Procedimento


2. Para exibir uma lista com todos os usuários proxy configurados em uma zona deacesso específica, execute o comando isi hdfs proxyusers list.

O comando a seguir exibe uma lista de todos os usuários proxy configurados nazone1:

isi hdfs proxyusers list --zone=zone1

3. Para exibir os detalhes da configuração de um usuário proxy específico, executeo comando isi hdfs proxyusers view.

O comando a seguir exibe os detalhes da configuração do usuário proxyhadoop-user23 na zone1:

isi hdfs proxyusers view hadoop-user23 --zone=zone1

Exibir a lista de membros de um usuário proxy (CLI)Exiba a lista de usuários e grupos, conhecidos como membros, atribuídos a um usuárioproxy. O usuário proxy pode personificar com segurança qualquer usuário na lista demembros.

Este procedimento somente está disponível pela interface de linha de comando.

Procedimento

1. Execute o comando isi hdfs proxyusers members list.

O comando a seguir exibe uma lista detalhada dos usuários e dos grupos deusuários que são membros do usuário proxy hadoop-user23 na zone1:

isi hdfs proxyusers members list hadoop-user23 --zone=zone1 -v

Excluir um usuário proxy (interface do usuário na Web)Exclua um usuário proxy de uma zona de acesso usando a interface Web deadministração do OneFS.

A exclusão de um usuário proxy excluirá o usuário da lista de usuários que podemexecutar uma personificação segura. O usuário não será excluído do sistema.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso que tem o usuárioproxy que você deseja excluir.


Exibir usuários proxy (CLI) 23

3. Na lista Proxy Users, marque a caixa de seleção ao lado do usuário proxy quedeseja excluir e clique em Delete.

4. Na caixa de diálogo de confirmação, clique em Delete.

Excluir um usuário proxy (CLI)Exclua um usuário proxy de uma zona de acesso usando a interface de linha decomando.

A exclusão de um usuário proxy excluirá o usuário da lista de usuários que podemexecutar uma personificação segura. O usuário não será excluído do sistema.

Procedimento

1. Execute o comando isi hdfs proxyusers delete.

O comando a seguir exclui o usuário proxy hadoop-user23 da zona de acessozone1:

isi hdfs proxyusers delete hadoop-user23 --zone=zone1

Configurar racks virtuais do HDFSVocê pode criar um rack virtual de nós do HDFS em seu cluster do Isilon para otimizaro desempenho e reduzir a latência ao acessar os dados do HDFS.

O OneFS permite que você especifique um grupo de nós preferenciais do HDFS emseu cluster do Isilon e um grupo associado de clients de computação do Hadoop comoum rack virtual do HDFS. Os racks virtuais do HDFS permitem que você ajuste aconectividade dos clients, direcionando os clients de computação do Hadoop a passarpor switches mais rápidos e menos ocupados ou a nós mais rápidos, dependendo datopologia de sua rede.

Quando um client de computação do Hadoop do grupo especificado se conectar aocluster, o OneFS exibirá no mínimo dois endereços IP do grupo de nós preferenciais doHDFS. Especifique os nós preferenciais do HDFS por pool de endereços IP. Os racksvirtuais do HDFS não dão suporte aos pools de endereços IP da família IPv6.

Criar um rack virtual do HDFS (interface do usuário na Web)Crie um rack virtual de nós do HDFS em seu cluster do Isilon usando a interface Webde administração do OneFS.

Procedimento

1. Clique em Protocols > Hadoop (HDFS) > Virtual Racks.

2. Na lista Current Access Zone, selecione a zona de acesso na qual desejaadicionar um rack virtual do HDFS.

3. Clique em Create a Virtual Rack.

4. No campo Name, digite um nome para o novo rack virtual.

Um nome de rack deve começar com uma barra — por exemplo, /hdfs-rack2.

5. Nos campos Client IP Ranges, especifique o intervalo de endereços IP dosclients de computação do Hadoop que serão associados ao rack virtual doHDFS.

Você pode associar vários intervalos de IP.



6. Na área IP Pools, selecione o pool de endereços IP desejado na tabela AvailablePools e clique em Add.

7. Clique em Create Virtual Rack.

Criar um rack virtual do HDFS (CLI)Crie um rack virtual de nós do HDFS em seu cluster do Isilon usando a interface delinha de comando.

Procedimento

1. Execute o comando isi hdfs racks create.

O nome de um rack começa com uma barra — por exemplo, /hdfs-rack2.

O seguinte comando cria um rack chamado de /hdfs-rack2 na zona deacesso zone5:

isi hdfs racks create /hdfs-rack2 --zone=zone5

O seguinte comando a seguir cria um rack chamado de /hdfs-rack2 na zonade acesso zone5, especifica 120.135.26.10-120.135.26.20 como a faixa deendereços IP dos clients de computação do Hadoop associados ao rack eespecifica subnet0:pool0 como o pool de endereços IP dos nós do Isilonatribuídos ao rack:

isi hdfs racks create /hdfs-rack2 --zone=zone5 --client-ip-ranges=120.135.26.10-120.135.26.20 --ip-pools=subnet0:pool0

Modificar um rack virtual do HDFS (interface do usuário na Web)Modifique as configurações de um rack virtual do HDFS usando a interface Web deadministração do OneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual desejamodificar um rack virtual do HDFS.

3. Na lista Virtual Racks, marque a caixa de seleção ao lado do rack virtual doHDFS que deseja modificar e clique em View/Edit.

4. Na caixa de diálogo View Virtual Rack Settings, clique em Edit Virtual Rack.

5. Modifique as configurações do rack virtual e clique em Save Changes.

Modificar um rack virtual do HDFS (CLI)Modifique as configurações de um rack virtual do HDFS usando a interface de linha decomando.

Procedimento

1. Execute o comando isi hdfs racks modify .



Criar um rack virtual do HDFS (CLI) 25

O seguinte comando renomeia um rack chamado de /hdfs-rack2 na zona deacesso zone 3 como /hdfs-rack5:

isi hdfs racks modify /hdfs-rack2 --new-name=/hdfs-rack5 --zone=zone3

O seguinte comando adiciona 120.135.26.30-120.135.26.40 à lista de endereçosIP existentes do client de computação do Hadoop atribuídos a /hdfs-rack2na zona de acesso zone3:

isi hdfs racks modify /hdfs-rack2 --add-client-ip-ranges=120.135.26.30-120.135.26.40 --zone=zone3

Além de adicionar uma nova faixa à lista de faixas existentes, você podemodificar as faixas de endereços IP do client substituindo as faixas atuais,excluindo uma faixa específica ou excluindo todas as faixas.

O comando a seguir substitui os pools de IP existentes por subnet1:pool1 esubnet2:pool2 designados a /hdfs-rack2 na zona de acesso zone3:

isi hdfs racks modify /hdfs-rack2 --ip-pools=subnet1:pool1,subnet2:pool2 --zone=zone3

Além de substituir a lista de pools existentes por novos pools, você podemodificar pools de IP adicionando pools à lista de pools atuais, excluindo umpool específico ou excluindo todos os pools.

Exibir racks virtuais do HDFS (interface do usuário na Web)Exiba uma lista de todos os racks virtuais do HDFS de uma zona de acesso e visualizeos detalhes dos racks virtuais individuais usando a interface Web de administração doOneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual deseja exibirum rack virtual do HDFS.

A lista Virtual Racks exibirá todos os racks virtuais do HDFS configurados nazona de acesso.

3. Na lista Virtual Racks, marque a caixa de seleção ao lado do rack virtual doHDFS que deseja exibir e clique em View/Edit.

A caixa de diálogo View Virtual Rack Settings será exibida.

4. Quanto tiver terminado de exibir os detalhes dos racks virtuais do HDFS, cliqueem Close.

Exibir racks virtuais do HDFS (CLI)Exiba uma lista de todos os racks virtuais do HDFS de uma zona de acesso e visualizeos detalhes dos racks virtuais individuais usando a interface de linha de comando.

Procedimento




2. Para exibir uma lista de todos os racks virtuais do HDFS configurados em umazona de acesso, execute o comando isi hdfs racks list.

O comando a seguir apresenta todos os racks do HDFS configurados na zona deacesso zone1:

isi hfds racks list --zone=zone1

O comando a seguir exibe detalhes de configurações de todos os racks virtuaisdo HDFS configurados na zona de acesso zone1:

isi hdfs racks list --zone=zone1 -v

3. Para exibir os detalhes de configuração de um rack virtual específico do HDFS,execute o comando isi hdfs racks view:

Cada nome de rack começa com uma barra — por exemplo, /hdfs-rack2.

O seguinte exemplo de comando exibe os detalhes de configuração do rackvirtual do HDFS chamado /hdfs-rack2 que está configurado na zona de acessozone1:

isi hdfs racks view /hdfs-rack2 --zone=zone1

Excluir um rack virtual do HDFS (interface do usuário na Web)Exclua um rack virtual do HDFS de uma zona de acesso usando a interface Web deadministração do OneFS.

Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual deseja excluirum rack virtual do HDFS.

3. Na lista Virtual Racks, marque a caixa de seleção ao lado do rack virtual doHDFS que deseja excluir e clique em Delete.

4. Na caixa de diálogo de confirmação, clique em Delete.

Excluir um rack virtual do HDFS (CLI)Exclua um rack virtual do HDFS de uma zona de acesso usando a interface de linha decomando.

Procedimento

1. Execute o comando isi hdfs racks delete.


O seguinte comando exclui o rack virtual do HDFS chamado de /hdfs-rack2da zona de acesso zone1:

isi hdfs racks delete /hdfs-rack2 --zone=zone1

2. No prompt, digite yes.


Excluir um rack virtual do HDFS (interface do usuário na Web) 27

Configurando a criptografia de transmissão do HDFSÉ possível configurar a criptografia de transmissão do HDFS usando a interface Webde administração ou a interface de linha de comando do OneFS.

Se você estiver usando o OneFS8.0.1.0 ou uma versão posterior, poderá proteger osdados que são transmitidos entre um client do HDFS e o OneFS por meio dacriptografia de dados em trânsito, também conhecida como criptografia detransmissão do HDFS. Em um ambiente Hadoop habilitado para Kerberos, você podehabilitar esse recurso em todos os clients do HDFS e no OneFS. A criptografia detransmissão gerencia as negociações entre um client do HDFS e o OneFS paracriptografar e descriptografar os dados.

A criptografia de transmissão do HDFS permite que o OneFS criptografe os dados quesão transmitidos entre o OneFS e o HDFS para atender aos requisitos regulamentares.Ela usa o AES (Advanced Encryption Standard, padrão de criptografia avançada) paracriptografar os dados. Os comprimentos de chave de 128 bits, 192 bits e 256 bitsestão disponíveis.

A criptografia de transmissão do HDFS que é compatível com o OneFS é diferente datecnologia Transparent Data Encryption do Apache HDFS. Para obter maisinformações, consulte Enhanced Hadoop security with OneFS 8.0.1 and HortonworksHDP.

Obs.

Quando a criptografia de transmissões do HDFS é habilitada, há um impactosignificativo sobre o desempenho do I/O e o throughput do protocolo HDFS.

Configurar a criptografia de transmissão do HDFS (interface do usuário naWeb)

É possível configurar a criptografia de transmissão do HDFS usando a interface Webde administração do OneFS.

Procedimento


2. Na caixa de lista Data Transfer Cipher, selecione uma das opções a seguir.

Opção Descrição

Para habilitar a criptografiade transmissões do HDFS

Selecione uma das senhas do AES (AdvancedEncryption Standard, padrão de criptografiaavançada), AES/CTR/NoPadding com chavede 128 bits, AES/CTR/NoPadding com chavede 192 bits ou AES/CTR/NoPadding comchave de 256 bits.

Para desabilitar acriptografia detransmissões do HDFS

Selecione Do not encrypt data.

3. Clique em Save Settings.



https://community.emc.com/community/products/isilon/blog/2016/11/04/enhanced-hadoop-security-with-onefs-801-and-hortonworks-hdp


Configurar a criptografia de transmissão do HDFS (CLI)É possível configurar a criptografia de transmissão do HDFS usando a interface delinha de comando.


Execute a tarefa "Definir configurações de plug-in do Ranger" antes de configurar acriptografia de transmissão do HDFS.

Procedimento

1. Para configurar a criptografia de transmissão do HDFS, execute isi hdfssettings modify --data-transfer-cipher encryption_argument.

Opção Descrição

Para habilitar a criptografiade transmissão do HDFS:

Defina encryption_argument para uma dascodificações AES (Advanced EncryptionStandard, padrão de criptografia avançada)aes_128_ctr, aes_192_ctr ouaes_256_ctr.

Para desabilitar acriptografia de transmissãodo HDFS:

Defina encryption_argument para none

isi hdfs settings modify --data-transfer-cipher aes_128_ctr


Configurar a criptografia de transmissão do HDFS (CLI) 29

CAPÍTULO 3

OneFS com referência de comandos do HDFS

Você pode acessar e configurar o serviço HDFS por meio da interface de linha decomando do OneFS. Esses comandos realizar as mesmas operações que a interfaceWeb de administração do OneFS. Os comandos desta seção são oferecidos para finsde referência.

l Comandos de HDFS........................................................................................... 32

OneFS com referência de comandos do HDFS 31

Comandos de HDFSA lista a seguir de comandos do OneFS ajudará você a gerenciar sua integração dossistemas Isilon e Hadoop.

isi hdfs log-level modifyModifica o nível de registro do serviço HDFS no nó.

Sintaxe

isi hdfs log-level modify [--set {always|error|warning|info|verbose|depurar|trace|padrão} ] [--verbose| -v]

Opções

--set {always | error | warning | info | verbose | debug | trace |default}

Configura o nível padrão de registro do serviço HDFS no cluster. O valor padrão édefault.

--verbose | -vExibe informações mais detalhadas.

isi hdfs log-level viewExibe o nível de registro atual do serviço HDFS no nó.

Sintaxe

isi hdfs log-level view

OpçõesNão há opções para este comando.

isi hdfs proxyusers createCria um usuário proxy que pode imitar com segurança outro usuário ou grupo.

Sintaxe

isi hdfs proxyusers create <proxyuser-name> [--zone <zone-name>] [--add-group <group-name>...] [--add-gid <group-identifier>...] [--add-user <user-name>...] [--add-uid <user-identifier>...] [--add-sid <security-identifier>...] [--add-wellknown <well-known-name>...] [--verbose]



Opções

<proxyuser-name>

Especifica o nome de usuário de um usuário configurado atualmente no cluster aser designado como um usuário proxy.

--zone<zone-name>

Especifica a zona de acesso pela qual o usuário é autenticado.

--add-group<group-name>...

Adiciona o grupo especificado pelo nome à lista de membros do usuário proxy. Ousuário proxy pode imitar qualquer usuário no grupo. Os usuários no grupo devemautenticar a mesma zona de acesso que o usuário proxy. Você pode especificarvários nomes de grupos em uma lista separada por vírgulas.

--add-gid<group-identifier>...

Adiciona o grupo especificado pelo ID de grupo do UNIX à lista de membros deusuário proxy. O usuário proxy pode imitar qualquer usuário no grupo. Os usuáriosno grupo devem autenticar a mesma zona de acesso que o usuário proxy. Vocêpode especificar vários IDs de grupo do UNIX em uma lista separada por vírgulas.

--add-user<user-name>...

Adiciona o usuário especificado pelo nome à lista de membros que o usuário proxypode imitar. O usuário deve fazer a autenticação na mesma zona de acesso que ousuário proxy. Você pode especificar vários nomes de usuários em uma listaseparada por vírgulas.

--add-uid<user-identifier>...

Adiciona o usuário especificado pelo ID exclusivo do UNIX à lista de membros queo usuário proxy pode imitar. O usuário deve fazer a autenticação na mesma zonade acesso que o usuário proxy. Você pode especificar vários IDs exclusivos doUNIX em uma lista separada por vírgulas.

--add-sid<security-identifier>...

Adiciona o usuário, o grupo de usuários, a máquina ou a conta especificada peloSID do Windows à lista de membros do usuário proxy. O objeto deve fazer aautenticação na mesma zona de acesso que o usuário proxy. Você podeespecificar vários SIDs do Windows em uma lista separada por vírgulas.

--add-wellknown<well-known-name>...

Adiciona o usuário conhecido especificado pelo nome à lista de membros que ousuário proxy pode imitar. O usuário conhecido deve fazer a autenticação namesma zona de acesso que o usuário proxy. Você pode especificar vários nomesde usuários conhecidos em uma lista separada por vírgulas.

{--verbose | -v}

Exibe informações mais detalhadas.

ExemplosO seguinte comando designa hadoop-user23 na zone1 como um novo usuário novoproxy:

isi hdfs proxyusers create hadoop-user23 --zone=zone1


isi hdfs proxyusers create 33

O seguinte comando designa hadoop-user23 na zone1 como um novo usuário proxy eadiciona o grupo de usuários chamado hadoop-users à lista de membros que o usuárioproxy pode imitar:

isi hdfs proxyusers create hadoop-user23 --zone=zone1 \--add-group=hadoop-users

O seguinte comando designa hadoop-user23 na zone1 como um novo usuário proxy eadiciona o ID exclusivo 2155 à lista de membros que o usuário proxy pode imitar:

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-UID=2155

isi hdfs proxyusers modifyModifica um usuário proxy que pode imitar com segurança outro usuário ou grupo.

Sintaxe

isi hdfs proxyusers modify <proxyuser-name> [--zone <zone-name>] [--add-group <group-name>...] [--add-gid <group-identifier>...] [--add-user <user-name>...] [--add-uid <user-identifier>...] [--add-sid <security-identifier>...] [--add-wellknown <well-known-name>...] [--remove-group <group-name>...] [--remove-gid <group-identifier>...] [--remove-user <user-name>...] [--remove-uid <user-identifier>...] [--remove-sid <security-identifier>...] [--remove-wellknown <well-known-name>...] [--verbose]

Opções

<proxyuser-name>

Especifica o nome de usuário do usuário proxy que será modificado.

--zone<zone-name>

Especifica a zona de acesso por meio da qual o usuário proxy é autenticado.

--add-group<group-name>...

Adiciona o grupo especificado pelo nome à lista de membros do usuário proxy. Ousuário proxy pode imitar qualquer usuário no grupo. Os usuários no grupo devemautenticar a mesma zona de acesso que o usuário proxy. Você pode especificarvários nomes de grupos em uma lista separada por vírgulas.

--add-gid<group-identifier>...

Adiciona o grupo especificado pelo ID de grupo do UNIX à lista de membros dousuário proxy. O usuário proxy pode imitar qualquer usuário no grupo. Os usuáriosno grupo devem autenticar a mesma zona de acesso que o usuário proxy. Vocêpode especificar vários IDs de grupo do UNIX em uma lista separada por vírgulas.

--add-user<user-name>...

Adiciona o usuário especificado pelo nome à lista de membros que o usuário proxypode imitar. O usuário deve fazer a autenticação na mesma zona de acesso que o



usuário proxy. Você pode especificar vários nomes de usuários em uma listaseparada por vírgulas.

--add-uid<user-identifier>...

Adiciona o usuário especificado pelo ID exclusivo do UNIX à lista de membros queo usuário proxy pode imitar. O usuário deve fazer a autenticação na mesma zonade acesso que o usuário proxy. Você pode especificar vários IDs exclusivos doUNIX em uma lista separada por vírgulas.

--add-sid<security-identifier>...

Adiciona o usuário, o grupo de usuários, a máquina ou a conta especificada peloSID do Windows à lista de membros do usuário proxy. O objeto deve fazer aautenticação na mesma zona de acesso que o usuário proxy. Você podeespecificar vários SIDs do Windows em uma lista separada por vírgulas.

--add-wellknown<well-known-name>...

Adiciona o usuário conhecido especificado pelo nome à lista de membros que ousuário proxy pode imitar. O usuário conhecido deve fazer a autenticação namesma zona de acesso que o usuário proxy. Você pode especificar vários nomesde usuários conhecidos em uma lista separada por vírgulas.

--remove-group<group-name>...

Remove o grupo especificado pelo nome da lista de membros do usuário proxypara que o usuário proxy não possa mais imitar nenhum outro usuário no grupo.Você pode especificar vários nomes de grupos em uma lista separada por vírgulas.

--remove-gid<group-identifier>...

Remove o grupo especificado pelo ID de grupo do UNIX da lista de membros dousuário proxy para que o usuário proxy não possa mais imitar nenhum outrousuário no grupo. Você pode especificar vários IDs de grupo do UNIX em uma listaseparada por vírgulas.

--remove-user<user-name>...

Remove o usuário especificado pelo nome da lista de membros que o usuárioproxy pode imitar. Você pode especificar vários nomes de usuários em uma listaseparada por vírgulas.

--remove-uid<user-identifier>...

Remove o usuário especificado pelo ID exclusivo do UNIX da lista de membros queo usuário proxy pode imitar. Você pode especificar vários IDs exclusivos do UNIXem uma lista separada por vírgulas.

--remove-sid<security-identifier>...

Remove o usuário, o grupo de usuários, a máquina ou a conta especificada peloSID do Windows da lista de membros do usuário proxy. Você pode especificarvários SIDs do Windows em uma lista separada por vírgulas.

--remove-wellknown<well-known-name>...

Remove o usuário conhecido especificado pelo nome da lista de membros que ousuário proxy pode imitar. Você pode especificar vários nomes de usuáriosconhecidos em uma lista separada por vírgulas.

{--verbose | -v}



isi hdfs proxyusers modify 35

ExemplosO seguinte comando adiciona o usuário local conhecido e remove o usuário cujo IDexclusivo é 2155 da lista de membros do usuário proxy hadoop-user23 na zone1:

isi hdfs proxyusers modify hadoop-user23 --zone=zone1 \--add-wellknown=local --remove-uid=2155

isi hdfs proxyusers deleteExclui um usuário proxy.

Sintaxe

isi hdfs proxyusers delete <proxyuser-name> [--zone <zone-name>] [--force] [--verbose]

Opções

<proxyuser-name>

Especifica o nome de usuário do usuário proxy que será excluído.

--zone<zone-name>


{--force | -f}

Exclui o usuário proxy especificado sem solicitar confirmação.

{--verbose | -v}


ExemplosO seguinte comando exclui hadoop-user23 na zone1 da lista de usuários proxy:

isi hdfs proxyusers delete hadoop-user23 --zone=zone1

isi hdfs proxyusers members listExibe os usuários e os grupos de usuários, conhecidos como membros, que podem serimitados por um usuário proxy.

Sintaxe

isi hdfs proxyusers members list <proxyuser-name> [--zone <zone-name>] [--format {table | json | csv | list}] [--no-header ] [--no-footer ] [--verbose]

Opções

<proxyuser-name>

Especifica o nome do usuário proxy.



--zone<zone-name>


--format {table | json | csv | list}

Exibe os resultados em formato de tabela (padrão), de JSON (JavaScript ObjectNotation), de CSV (Comma-Separated Value, valor separado por vírgulas) ou delista.

--no-headerExibe os resultados de tabelas e de CSV sem cabeçalhos.

--no-footerExibe os resultados de tabelas sem rodapés.

{--verbose | -v}


ExemplosO seguinte comando exibe uma lista detalhada de usuários e grupos que são membrosdo usuário proxy hadoop-user23 na zone1:

isi hdfs proxyusers members list hadoop-user23 --zone=zone1 -v

O sistema exibe um resultado semelhante ao do seguinte exemplo:

Type: userName: krb_user_005 ID: UID:1004--------------------------------------------------------------------------------Type: groupName: krb_users ID: SID:S-1-22-2-1003--------------------------------------------------------------------------------Type: wellknownName: LOCAL ID: SID:S-1-2-0

isi hdfs proxyusers listExibe todos os usuários proxy que são configurados em uma zona de acesso.

Sintaxe

isi hdfs proxyusers list [--zone <zone-name>] [--format {table | json | csv | list}] [--no-header ] [--no-footer ] [--verbose]

Opções

--zone<zone-name>

Especifica o nome da zona de acesso.



isi hdfs proxyusers list 37

Exibe os resultados em formato de tabela (padrão), de JSON (JavaScript ObjectNotation), de CSV (Comma-Separated Value, valor separado por vírgulas) ou delista.

--no-headerExibe os resultados de tabelas e de CSV sem cabeçalhos.

--no-footerExibe os resultados de tabelas sem rodapés.

{--verbose | -v}


ExemplosO seguinte comando exibe uma lista de todos os usuários proxy que são configuradosna zone1:

isi hdfs proxyusers list --zone=zone1


Name-------------hadoop-user23hadoop-user25hadoop-user28-------------Total: 3

isi hdfs proxyusers viewExibe os detalhes de configuração de um usuário proxy específico.

Sintaxe

isi hdfs proxyusers view <proxyuser-name> [--zone <zone-name>]

Opções

<proxyuser-name>

Especifica o nome de usuário do usuário proxy.

--zone<zone-name>


ExemplosO seguinte comando exibe os detalhes de configuração para o usuário proxy hadoop-user23 na zone1:

isi hdfs proxyusers view hadoop-user23 --zone=zone1




Name: hadoop-user23Members: krb_users LOCAL krb_user_004

isi hdfs racks createCria um novo rack virtual de HDFS.

Sintaxe

isi hdfs racks create <nome-rack> [--client-ip-ranges <low-ip-address>-<high-ip-address>]... [--ip-pools <sub-rede>:<pool>]... [--zone <string>] [--verbose]

Opções

<nome-rack>

Especifica o nome do rack virtual do HDFS. O nome do rack deve começar comuma barra — por exemplo, /example-name.

--client-ip-ranges<endereço-ip-baixo>-<endereço-ip-alto>…

Especifica intervalos de endereços IP dos clients externos de computação doHadoop atribuídos ao rack virtual.

--ip-pools<subrede>:<pool>...

Atribui um pool de endereços IP do cluster do Isilon ao rack virtual.

--zone<string>

Especifica a zona de acesso que conterá o rack virtual.

{--verbose | -v}


isi hdfs racks modifyModifica um rack virtual do HDFS.

Sintaxe

isi hdfs racks modify <nome-rack> [--name <nome-rack>] [--client-ip-ranges <low-ip-address>-<high-ip-address>]... [--add-client-ip-ranges <low-ip-address>-<high-ip-address>]... [--remove-client-ip-ranges <low-ip-address>-<high-ip-address>]... [--clear-client-ip-ranges] [--ip-pools <sub-rede>:<pool>]... [--add-ip-pools <sub-rede>:<pool>]... [--remove-ip-pools <sub-rede>:<pool>]... [--clear-ip-pools] [--zone <string>] [--verbose]


isi hdfs racks create 39

Opções

<nome-rack>

Especifica o rack virtual do HDFS que será modificado. Cada nome de rackcomeça com uma barra — por exemplo, /example-name.

--name<nome-rack>

Atribui um novo nome ao rack virtual especificado. O nome do rack deve começarcom uma barra — por exemplo, /example-name.

--client-ip-ranges<endereço-ip-baixo>-<endereço-ip-alto>…

Especifica intervalos de endereços IP dos clients externos de computação doHadoop atribuídos ao rack virtual. O valor atribuído por esta opção sobregravatodos os intervalos existentes de endereços IP. Você pode adicionar um novointervalo com a opção --add-client-ip-ranges.

--add-client-ip-ranges<endereço-ip-baixo>-<endereço-ip-alto>…

Adiciona um intervalo especificado de endereços IP dos clients externos decomputação do Hadoop ao rack virtual.

--remove-client-ip-ranges<endereço-ip-baixo>-<endereço-ip-alto>…

Remove um intervalo especificado de endereços IP dos clients externos decomputação do Hadoop do rack virtual. Você só pode remover um intervalointeiro; não é possível excluir um subconjunto de um intervalo.

--clear-client-ip-rangesRemove todos os intervalos de endereços IP dos clients externos de computaçãodo Hadoop do rack virtual.

--ip-pools<subrede>:<pool>...

Atribui os pools de endereços IP do nó do Isilon ao rack virtual. O valor atribuídopor esta opção sobregrava todos os pools existentes de endereços IP. Você podeadicionar um novo pool com a opção --add-ip-pools.

--add-ip-pools<subrede>:<pool>...

Adiciona um pool especificado de endereços IP do cluster do Isilon ao rack virtual.

--remove-ip-pools<subrede>:<pool>...

Remove um pool especificado de endereços IP do cluster do Isilon do rack virtual.

--clear-ip-poolsRemove todos os pools de endereços IP do cluster do Isilon do rack virtual.

--zone<string>

Especifica a zona de acesso que contém o rack virtual que você deseja modificar.

{--verbose | -v}


isi hdfs racks deleteExclui um rack virtual do HDFS.



Sintaxe

isi hdfs racks delete <nome-rack> [--zone <string>] [--force] [--verbose]

Opções

<nome-rack>

Exclui o rack virtual especificado do HDFS. Cada nome de rack começa com umabarra — por exemplo, /example-name.

--zone<string>

Especifica a zona de acesso que contém o rack virtual que você deseja excluir.

{--force | -f}

Exclui os prompts de linha de comando e as mensagens.

{--verbose | -v}


isi hdfs racks listLista os racks do HDFS em uma zona de acesso.

Sintaxe

isi hdfs racks list [--zone <string>] [--format {table | json | csv | list}] [--no-header] [--no-footer] [--verbose]

Opções

--zone<string>

Especifica a zona de acesso. O sistema exibe todos os racks virtuais na zonaespecificada.


Exiba os racks HDFS em formato de tabela, lista, JSON ou CSV.

{--no-header | -a}

Não exiba cabeçalhos em formato de saída em tabela ou CSV.

{--no-footer | -z}

Não exiba informações de resumo do rodapé da tabela.

{--verbose | -v}



isi hdfs racks list 41

isi hdfs racks viewExibe informações sobre um rack virtual específico do HDFS.

Sintaxe

isi hdfs racks view <nome-rack> [--zone <string>]

Opções

<nome-rack>

Especifica o nome do rack virtual do HDFS que será exibido. Cada nome de rackcomeça com uma barra — por exemplo, /example-name.

--zone<string>

Especifica a zona de acesso que contém o rack virtual que você deseja exibir.

isi hdfs ranger-plugin settings modifyModifique as configurações do plug-in Apache Ranger para o HDFS.

Sintaxe

isi hdfs ranger-plugin settings modify [--enabled <boolean>] [--policy-manager-url <string>] [--repository-name <string>] [--zone <string>] [--verbose]

Opções

--enabled<boolean>

Habilite o plug-in HDFS Ranger.

--policy-manager-url<string>

O esquema, o nome do host e a porta do servidor Apache Ranger (porexemplo,http://ranger.com:6080).

--repository-name<string>

O nome do repositório HDFS hospedado no servidor Apache Ranger.

--zone<string>

A zona de acesso que contém o repositório HDFS.

{--verbose | -v}


isi hdfs ranger-plugin settings viewVisualize as configurações do plug-in Apache Ranger para o HDFS.



Sintaxe

isi hdfs ranger-plugin settings view [--zone <string>]

Opções

--zone<string>

A zona de acesso que contém o repositório HDFS.

isi hdfs settings modifyModifica as configurações de HDFS de uma zona de acesso.

Sintaxe

isi hdfs settings modify [--service {yes | no}] [--default-block-size <size>] [--default-checksum-type {none | crc32 | crc32c}] [--authentication-mode {all | simple_only | kerberos_only}] [--root-directory <path>] [--webhdfs-enabled {yes | no] [--ambari-server <string>] [--ambari-namenode <string>] [--ambari-metrics-collector <string>] [--odp-version <string>] [--data-transfer-cipher {none | aes_128_ctr | aes_192_ctr | aes_256_ctr}] [--zone <string>] [--verbose]

Opções

--service {yes | no}

Ativa ou desativa o serviço HDFS na zona de acesso especificada. O serviçoHDFS é ativado de modo padrão.

--default-block-size<size>

O tamanho de block (em bytes) relatado pelo serviço HDFS. K, M e G; porexemplo, 64M, 512K e 1G são sufixos válidos. O valor padrão é 128 MB.

--default-checksum-type {none | crc32 | crc32c}

O tipo de checksum relatado pelo serviço HDFS. O valor padrão é none--authentication-mode {all | simple_only | kerberos_only}

O método de autenticação usado para conexões do HDFS na zona de acessoespecificada. O valor padrão é all.

--root-directory<path>

Caminho da raiz que contém dados do HDFS na zona de acesso que pode seracessada por meio de conexões dos clients de computação do Hadoop. Odiretório raiz deve estar dentro do diretório base da zona de acesso.

--webhdfs-enabled {yes | no}

Ativa ou desativa o WebHDFS na zona de acesso especificada. O WebHDFS estáativado por padrão.


isi hdfs settings modify 43

--ambari-server<string>

O servidor Ambari que recebe uma comunicação de um agente Ambari. O valordeve ser um nome de host, um FQDN ou um endereço IPv4 ou IPv6 passível deresolução.

--ambari-namenode<string>

Um ponto de contato na zona de acesso por meio do qual os serviços do Hadoopgerenciados pela interface Ambari devem se conectar. O valor deve ser umendereço IPv4 passível de resolução ou um nome de zona do SmartConnect.

--ambari-metrics-collector<string>

O nome do host para o coletor de medições. O valor deve ser um nome de host,um FQDN ou um endereço IPv4 ou IPv6 passível de resolução.

--odp-version<string>

A versão do repositório de pilhas da ODP (Open Data Platform), inclusive onúmero do build, caso haja um, instalado pelo servidor Ambari. Isso é necessáriopara dar suporte a upgrades da ODP em outros sistemas que fazem parte docluster do Handoop.

--data-transfer-cipher {none | aes_128_ctr | aes_192_ctr |aes_256_ctr}

A codificação AES (Advanced Encryption Standard, padrão de criptografiaavançada) a ser usada para a criptografia de transmissão.

--zone<string>

A zona de acesso à qual as configurações do HDFS são aplicáveis.

{--verbose | -v}


isi hdfs settings viewExibe as configurações de HDFS em uma zona de acesso.

Sintaxe

isi hdfs settings view [--zone <string>]

Opções

--zone<string>

Especifica a zona de acesso. O sistema exibirá as configurações de HDFS da zonaespecificada.



CAPÍTULO 4

Recursos adicionais

Este capítulo inclui informações sobre a configuração de componentes HDFS deterceiros, como o Ambari. Ele também oferece links para recursos adicionais deconteúdo sobre como implementar o Hadoop em um cluster do Isilon.

l Componentes HDFS de terceiros....................................................................... 46l Usando o Hadoop com o Isilon........................................................................... 49l Compartilhe sua opinião conosco.......................................................................50l Onde obter suporte............................................................................................ 51

Recursos adicionais 45

Componentes HDFS de terceiros

Ambari

Agente AmbariO framework de client e servidor Apache Ambari, como parte da HDP (HortonworksData Platform), é uma ferramenta opcional de terceiros que permite configurar,gerenciar e monitorar um cluster do Hadoop por meio de uma interface baseada emnavegador.

O agente Ambari do OneFS é configurado por zona de acesso. Você pode configurar oagente Ambari em qualquer zona de acesso que contenha dados do HDFS. Para iniciaro agente Ambari em uma zona de acesso, é necessário especificar o endereço IPv4 doservidor Ambari externo e o endereço de um NameNode. O NameNode atua como oponto de contato da zona de acesso.

O servidor Apache Ambari recebe comunicações do agente Ambari. Depois que oagente Ambari for atribuído à zona de acesso, ele será registrado no servidor Ambari.Em seguida, ele apresentará o status de heartbeat ao servidor. O servidor Ambari deveser um nome de host, um FQDN ou um endereço IPv4 passível de resolução e deve seratribuído a uma zona de acesso.

O NameNode é o ponto de contato designado de uma zona de acesso que os serviçosdo Hadoop gerenciam por meio da interface Ambari. Por exemplo, se você gerenciarserviços, como YARN ou Oozie, por meio do agente Ambari, os serviços serãoconectados à zona de acesso por meio do NameNode especificado. O agente Ambaricomunica o local do NameNode designado ao servidor Ambari e ao agente Ambari. Sevocê alterar o endereço designado do NameNode, o agente Ambari atualizará oservidor Ambari. O NameNode deve ser um nome de zona válido do SmartConnect ouum endereço IP do pool de endereços IP associado à zona de acesso.

Obs.

O valor especificado do NameNode é associado aos componentes NameNode,NameNode secundário e DataNode do agente Ambari do OneFS.

O agente Ambari do OneFS se baseia no framework Apache Ambari e é compatívelcom várias versões do servidor Ambari. Para obter uma lista completa das versõescompatíveis, consulte a página Supported Hadoop Distributions and Products na ECN(EMC Community Network).

Definindo as configurações do agente Ambari

Você pode configurar o suporte do agente Ambari em cada zona de acesso quecontém dados do HDFS usando a interface Web de administração ou a interface delinha de comando do OneFS.

Definir as configurações do agente Ambari (interface do usuário na Web)Procedimento


2. Na lista Current Access Zone, selecione a zona de acesso na qual desejahabilitar as configurações do serviço Ambari.

Recursos adicionais





3. Na área Ambari Server Settings, no campo Ambari Server, digite o nome doservidor externo Ambari que se comunicará com o agente Ambari.

O valor deve ser um nome de host, um FQDN ou um endereço IPv4 ou IPv6passível de resolução.

4. No campo Ambari NameNode designe o endereço IP ou o FQDN doSmartConnect da zona de acesso na qual os dados do HDFS residem no cluster.

O endereço IP deve pertencer a um pool de endereços IP que compartilhe azona de acesso. Os endereços IPv6 não são compatíveis.

5. No campo ODP Version, especifique a versão do repositório de pilhas ODP(Open Data Platform), inclusive o número do build, se houver, instalada peloservidor Ambari.

A versão do ODP é necessária para dar suporte a upgrades de ODP em outrossistemas que fazem parte do cluster do Hadoop.

6. No campo Ambari Metrics Collector, especifique o nome do host externo doAmbari onde está instalado o componente Ambari Metrics Collector.

O valor deve ser um nome de host, um FQDN ou um endereço IPv4 ou IPv6passível de resolução.


Definir as configurações do agente Ambari (CLI)Procedimento


O comando a seguir especifica company.ambari.server.com como o servidorAmbari externo que recebe a comunicação do agente Ambari sendo executadona zona de acesso zone3.

isi hdfs settings modify \--ambari-server=company.ambari.server.com \ --ambari-metrics-collector string \--zone=zone3

O comando a seguir designa 192.168.205.5 como o ponto de contato da zona deacesso zone3 para os serviços Hadoop gerenciados por meio da interface doAmbari.

isi hdfs settings modify \--ambari-namenode=192.168.205.5 \--ambari-metrics-collector http://ambari-metrics-collector-host.com \--zone=zone3

Medidas e alertas do AmbariEm uma implementação do Hadoop com OneFS8.0.1.0 ou versões posteriores, um nóde um cluster do Isilon pode monitorar, coletar e enviar dados de medida em intervalosde 1 minuto ao Ambari Metrics Collector, que é um dos componentes do AmbariMetrics System da Hortonworks.

Todos os dados de medidas e alertas do OneFS que são oferecidos ao Ambari valempara todo o cluster. Por exemplo, para um cluster do Isilon com três nós, o tráfego derede do NDFS agregado em todos os três nós é informado ao Ambari. Obs.: OneFS nomomento, as medidas das zonas de acesso específicas que contêm conjuntos dedados do HDFS não são compatíveis com suporte.

Recursos adicionais

Ambari 47

Para visualizar as medidas do Ambari, siga as etapas descritas em Ambari metrics andalerts with EMC Isilon OneFS.

Suporte a Apache RangerO OneFS dá suporte ao Apache Ranger como parte de uma implementação do Hadoopcom um cluster do Isilon.

O console do Apache Ranger oferece um framework centralizado de segurança paragerenciar o controle de acesso sobre os componentes de acesso a dados do Hadoop,como Apache Hive e Apache HBase. Essas políticas podem ser definidas para usuáriosindividuais ou grupos e, em seguida, impostas de modo consistente em arquivos,pastas e bancos de dados.

Somente as políticas de autorização de HDFS do Ranger com condições Deny sãocompatíveis com o OneFS. A documentação do Apache JIRA RANGER-606 descrevecomo usar as condições Deny, que foram adicionadas ao Apache Ranger 0.6.0. Paraobter mais informações sobre o Apache Ranger e componentes específicos do HDP,consulte as páginas do Apache Ranger no site da Hortonworks.

l As autenticações AD, Kerberos e locais são compatíveis com suporte.

l No momento, a auditoria do acesso ao HDFS pelo Apache Ranger não é compatívelcom suporte.

l No momento, as políticas de marca não são compatíveis com suporte.

Editando as configurações do plug-in HDFS do Apache RangerVocê pode habilitar o plug-in HDFS do Apache Ranger para permitir a supervisãoadicional da autenticação do protocolo HDFS usando a interface Web deadministração ou a interface de linha de comando (CLI) do OneFS.

É possível habilitar o Apache Ranger nos clusters do Isilon e, em seguida, verificar sehá novas políticas de autorização, receber solicitações do HDFS de clients e aplicarpolíticas de autorização às solicitações do HDFS, que podem ser DENY, ALLOW ouUNDETERMINED. Habilite o plug-in HDFS do Apache Ranger usando as etapasdescritas no Guia de Segurança da Hortonworks.

Habilitar o plug-in do Apache Ranger também permitirá as políticas de autorizaçãodefinidas na instância de serviço HDFS do Ranger, também chamada de repositório,anterior ao Apache Ranger 0.6.0. Primeiramente, as políticas devem permitir queusuários ou grupos acessem os recursos e, em seguida, negar o acesso a usuários ougrupos específicos. Se um usuário não estiver incluído na lista de permissões, ele teráo acesso negado por padrão. Para obter mais informações sobre a criação de umapolítica DENY, consulte Políticas de negação do Apache Ranger com o OneFS 8.0.1.0

Obs.

Uma política mal elaborada pode ter um impacto inesperado, por exemplo, bloqueandoo acesso.

O nome do repositório é uma configuração no Apache Ranger. A versão compatívelmínima do Apache Ranger é 0.6.0, já que a política DENY do Ranger negar écompatível somente com a versão 0.6.0 e versões posteriores. Na versão 0.6.0, oApache Ranger alterou o nome desse recurso para instância do serviço. A instância doserviço é o nome da instância do serviço do HDFS na Interface de administração doApache Ranger usado como o nome do repositório.

Se você tiver um cluster habilitado para Kerberos, siga as instruções do Guia deSegurança da Hortonworks para habilitar o plug-in HDFS do Ranger no cluster.

Recursos adicionais


https://community.emc.com/community/products/isilon/blog/2016/10/25/ambari-metrics-and-alerts-with-emc-isilon


https://hortonworks.com/apache/ranger/

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html

https://community.emc.com/community/products/isilon/blog/2016/10/25/apache-ranger-deny-policies-with-onefs-8010

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/hdfs_plugin_kerberos.html

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/hdfs_plugin_kerberos.html

Editar configurações do plug-in HDFS do Apache Ranger (interfacedo usuário na Web)

A URL do gerenciador de políticas é encontrada no servidor do Ambari em Ambari >Ranger > Configs as the policymgr_external_url. Essa URL é criada combinandohttp://, mais o nome de host em que o administrador do Ranger está instalado,seguido de ranger.service.http.port que, geralmente, é 6080, e seguido por /Procedimento

1. Clique em Protocols > Hadoop (HDFS) > Ranger Plugin Settings.

2. Na área Ranger Plugin settings, selecione Enable Ranger Plugin

3. No campo Policy manager URL, digite a URL que aponta para o local dogerenciador de políticas.

4. No campo Repository name, digite o nome do repositório do HDFS.


Editar as configurações do plug-in HDFS do Apache Ranger (CLI)

A URL do gerenciador de políticas é encontrada no servidor do Ambari em Ambari >Ranger > Configs as the policymgr_external_url. Essa URL é criada combinandohttp:// com o nome de host em que o administrador do Ranger está instalado,seguido pela ranger.service.http.port que, geralmente, é 6080, e por /Procedimento

1. Para definir as configurações de plug-in Ranger, execute o comando isi hdfsranger-plugin settings modify.

A --policy-manager-url é criada por meio da combinação de http://, seguidopelo nome de host em que o Ranger Admin está instalado, pelaranger.service.http.port, que é geralmente 6080, e por /.

O comando a seguir define as configurações do plug-in Ranger.

isi hdfs ranger-plugin settings modify --policy-manager-url http://resolvable_name:6080/ --repository-name repository_name --enabled true --zone zone_name

Usando o Hadoop com o IsilonAlém deste guia de administração do HDFS, use os recursos a seguir para implementarsua integração dos sistemas IsilonOneFS e HDFS.

Informações de compatibilidade

l Hadoop Distributions and Products Supported by OneFS

Informações específicas ao Isilon

l Using Hadoop with Isilon - Isilon Info Hub

l Overview of Isilon and Hadoop (vídeo)

l Hadoop Distributions and Products Supported by OneFS

l Prepare an Isilon for Hadoop Cheat Sheet

l Isilon and Hadoop Local UID Parity

Recursos adicionais

Usando o Hadoop com o Isilon 49



http://youtu.be/joibUFluQ_Y


https://community.emc.com/community/products/isilon/blog/2016/12/21/prepare-an-isilon-for-hadoop-in-5-minutes

https://community.emc.com/community/products/isilon/blog/2016/06/22/isilon-and-hadoop-user-uid-parity

l Getting Isilon - Hadoop UID/GID parity

l OneFS and Hadoop Proxy Users

l Considerations for Active Directory based on Kerberos with Hadoop

l Backing Up Hadoop To Isilon

l Troubleshooting a Permissions Issue between Hadoop and Isilon

l Using HTTPFS & Knox with Isilon OneFS to Enhance HDFS Access Security

l Creating a Bi-Directional HDFS Mirror Across HDP/Isilon Clusters with Falcon

Hortonworks e Ambari

l Guia de Instalação EMC Isilon OneFS com Hadoop e Hortonworks

l Configuring Ambari Hive View with OneFS

l Apache Ranger deny policies with OneFS 8.0.1.0

l Ambari Metrics and Alerts with EMC Isilon

l Enhanced Hadoop Security with OneFS 8.0.1 and Hortonworks HDP

l Ever better HDP upgrades with OneFS

l OneFS, Ambari, and Accumulo Tracer

l Configuring a single database instance for Ambari, Hive, and Oozie onHortonworks/Isilon Hadoop Cluster

Hortonworks e Ambari com Kerberos

l Ambari Automated Kerberos Configuration with Isilon OneFS

l Ambari HDP with Isilon 8.0.0.1 and Active Directory Kerberos Implementation

l Duplicate SPN's with Isilon AD Kerberos and Hortonworks prevent services fromstarting

l KDC Kerberized Yarn Service Fail to Start on 8.0.1 with Ambari via WebHDFS curlcalls

l The infamous '401 Authorization Required' error when starting Kerberized services

Cloudera

l Guia de Instalação do EMC Isilon OneFS com Hadoop e Cloudera

l Cloudera and Isilon Implementation - Part 1

l Cloudera and Isilon Implementation - Part 2

l Get Cloudera 5.7 Impala starting with Isilon

Cloudera com Kerberos

l Cloudera 5.7 with Isilon 8.0.0.1 and Active Directory Kerberos Implementation

Soluções temporárias e problemas conhecidos

l Attempts to use the Apache Hadoop YARN node label feature fail

l Customer Troubleshooting - Isilon Info Hub

Compartilhe sua opinião conosco

Suas sugestões nos ajudarão a aprimorar a precisão, a organização e a qualidade geralda documentação. Envie seus comentários para https://www.research.net/s/isi-

Recursos adicionais


https://community.emc.com/community/products/isilon/blog/2016/09/15/getting-isilon--hadoop-uidgid-parity-the-easy-way

https://community.emc.com/community/products/isilon/blog/2016/11/30/onefs-and-hadoop-proxy-users

https://community.emc.com/community/products/isilon/blog/2016/07/22/isilon-onefs-considerations-for-active-directory-based-kerberos-with-hadoop

https://community.emc.com/community/products/isilon/blog/2014/11/07/backup

https://community.emc.com/community/products/isilon/blog/2016/08/31/troubleshooting-a-permissions-issue-between-hadoop-and-isilon

https://support.emc.com/docu81673

https://community.emc.com/people/bonibruno/blog/2017/03/01/using-falcon-with-hdp-25-isilon-onefs-801

http://Brazil.emc.com/collateral/TechnicalDocument/docu71396.pdf

https://community.emc.com/community/products/isilon/blog/2016/08/16/configuring-ambari-hive-view-with-onefs

https://community.emc.com/community/products/isilon/blog/2016/10/25/apache-ranger-deny-policies-with-onefs-8010



https://community.emc.com/community/products/isilon/blog/2016/07/08/ever-better-upgrades-of-hdp-with-onefs

https://community.emc.com/community/products/isilon/blog/2016/06/03/onefs-ambari-and-accumulo-tracer

https://community.emc.com/people/bonibruno/blog/2017/02/23/using-mariadbmysql-for-ambari-hive-and-oozie-on-your-hadoopisilon-cluster

https://community.emc.com/people/bonibruno/blog/2017/02/23/using-mariadbmysql-for-ambari-hive-and-oozie-on-your-hadoopisilon-cluster

https://community.emc.com/community/products/isilon/blog/2016/04/26/ambari-automated-kerberos-configuration-with-emc-isilon

https://community.emc.com/community/products/isilon/blog/2016/07/05/kerberizing-ambari-hdp-with-isilon-8001-and-active-directory

https://community.emc.com/community/products/isilon/blog/2016/10/11/duplicate-spns-with-isilon-ad-kerberos-and-hortonworks

https://community.emc.com/community/products/isilon/blog/2016/10/11/duplicate-spns-with-isilon-ad-kerberos-and-hortonworks

https://community.emc.com/community/products/isilon/blog/2016/12/16/kdc-kerberized-yarn-service-fail-to-start-on-801-with-ambari-via-webhdfs-calls

https://community.emc.com/community/products/isilon/blog/2016/12/16/kdc-kerberized-yarn-service-fail-to-start-on-801-with-ambari-via-webhdfs-calls

https://community.emc.com/community/products/isilon/blog/2017/03/15/the-infamous-401-authorization-required-error-when-starting-kerberized-services

http://Brazil.emc.com/collateral/TechnicalDocument/docu82332.pdf

https://community.emc.com/community/products/isilon/blog/2016/07/07/cloudera-and-isilon-implementation

https://community.emc.com/community/products/isilon/blog/2016/07/07/cloudera-and-isilon-implementation-part-2

https://community.emc.com/community/products/isilon/blog/2016/07/07/get-cloudera-57-impala-starting-with-isilon

https://community.emc.com/community/products/isilon/blog/2016/07/11/cloudera-cdh-57-with-isilon-8001-and-active-directory-kerberos-implementation



https://www.research.net/s/isi-docfeedback

docfeedback. Se não for possível fazê-lo por meio da URL, envie uma mensagem de e-mail para [email protected].

Onde obter suporteSe tiver dúvidas sobre os produtos Isilon, entre em contato com o Suporte técnico doIsilon..

Suporte on-line l Bate-papo on-line

l Criar um chamado

Suporte telefônico l Estados Unidos: 1-800-SVC-4EMC (1-800-782-4362)

l Canadá: 1-800-543-4782

l Outras localidades: 1-508-497-7901

l Para obter os números de telefone locais de um paísespecífico, consulte os Centros de atendimento ao clienteEMC

Acesso ou registrode suporte

Se tiver dúvidas sobre como acessar o Atendimento ao ClienteEMC, envie um e-mail para [email protected].

Hubs deinformações doIsilon

Para obter a lista de hubs de informações do Isilon, consulte apágina Isilon Info Hubs na Isilon Community Network. Os hubsde informações do Isilon organizam documentação, vídeos, blogse tópicos de conteúdo de contribuição dos usuários sobre oIsilon, facilitando a localização de conteúdo sobre assuntos deseu interesse.

Suporte a IsilonSD EdgeSe você estiver executando uma versão gratuita do IsilonSD Edge, o suporte estarádisponível por meio da Isilon Community Network. Se você adquiriu uma ou maislicenças do IsilonSD Edge, o suporte estará disponível por meio do Suporte técnico doIsilon., desde que você tenha um contrato válido de suporte para o produto.

Recursos adicionais

Onde obter suporte 51

https://www.research.net/s/isi-docfeedback

mailto:[email protected]

https://support.emc.com/servicecenter/liveChat/

https://support.emc.com/servicecenter/createSR/

http://Brazil.emc.com/collateral/contact-us/h4165-csc-phonelist-ho.pdf

http://Brazil.emc.com/collateral/contact-us/h4165-csc-phonelist-ho.pdf

https://support.emc.com

https://support.emc.com

mailto:[email protected]



Recursos adicionais


Guia de Referência do OneFS com HDFS · o file system para clients de computação do Hadoop. O...

Documents

Transcript of Guia de Referência do OneFS com HDFS · o file system para clients de computação do Hadoop. O...