Articles of mapreduce

O nó de nome está no modo de segurança. Não é capaz de sair

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. não é capaz de criar nada em hdfs eu fiz root# bin/hadoop fs -safemode leave Mas mostrando safemode: Unknown command qual é o problema? Solução

O framework de agregação do Mongodb é mais rápido que o map / reduce?

A estrutura de agregação introduzida no mongodb 2.2 tem alguma melhoria especial de desempenho em relação ao mapa / redução? Se sim, por que e como e quanto? (Já fiz um teste para mim e o desempenho foi quase o mesmo)

Mesclando duas collections no MongoDB

Eu tenho tentado usar MapReduce no MongoDB para fazer o que eu acho que é um procedimento simples. Eu não sei se esta é a abordagem correta, se eu deveria estar usando o MapReduce. Eu pesquisei quais palavras-chave eu pensei e tentei acertar os documentos onde eu pensei que teria mais sucesso – mas nada. […]

Qual é o propósito da fase de embaralhar e classificar no redutor em Map Reduce Programming?

Na programação Map Reduce, a fase de redução tem embaralhamento, sorting e redução como subpartes. A sorting é um assunto caro. Qual é o propósito da fase de embaralhar e classificar no redutor em Map Reduce Programming?

Chamando um trabalho mapreduce de um programa java simples

Eu tenho tentado chamar um trabalho mapreduce de um programa java simples no mesmo pacote .. Eu tentei referenciar o arquivo jar mapreduce no meu programa java e chamá-lo usando o método runJar(String args[]) , também passando a input e caminhos de saída para o trabalho mapreduce .. Mas o programa dint work .. Como […]

Definir o número de tarefas do mapa e reduzir tarefas

Atualmente estou executando um trabalho Eu fixei o número de tarefas do mapa para 20, mas e obtendo um número maior. Eu também configurei a tarefa de redução para zero, mas ainda estou recebendo um número diferente de zero. O tempo total para a conclusão da tarefa MapReduce também não é exibido. Alguém pode me […]

O contêiner está sendo executado além dos limites de memory

No Hadoop v1, eu atribuí cada slot mapeador e redutor de 7 com o tamanho de 1GB, meus mapeadores e redutores funciona bem. Minha máquina tem memory 8G, 8 processadores. Agora, com o YARN, quando executar o mesmo aplicativo na mesma máquina, recebo um erro no contêiner. Por padrão, eu tenho essas configurações: yarn.scheduler.minimum-allocation-mb 1024 […]

mesclar arquivos de saída após reduzir a fase

Em mapreduce, cada tarefa de redução grava sua saída em um arquivo chamado part-r-nnnnn, em que nnnnn é um ID de partição associado à tarefa de redução. O mapeamento / redução mescla esses arquivos? Se sim, como?

Verifique se todos os elementos da matriz correspondem à condição

Eu tenho uma coleção de documentos: date: Date users: [ { user: 1, group: 1 } { user: 5, group: 2 } ] date: Date users: [ { user: 1, group: 1 } { user: 3, group: 2 } ] Gostaria de consultar essa coleção para encontrar todos os documentos em que cada ID de […]

Como os registros do processo do Hadoop se dividem entre limites de bloco?

De acordo com o Hadoop – The Definitive Guide Os registros lógicos que FileInputFormats definem normalmente não se encheckboxm perfeitamente nos blocos do HDFS. Por exemplo, os registros lógicos de TextInputFormat são linhas, que ultrapassam os limites do HDFS com mais freqüência do que não. Isso não tem relação com o funcionamento do seu programa […]