Configuração do cluster do Hadoop – java.net.ConnectException: conexão recusada

Eu quero configurar um cluster hadoop no modo pseudo-distribuído. Eu consegui executar todas as etapas de configuração, incluindo a boot de um Namenode, Datanode, Jobtracker e um Tasktracker na minha máquina.

Então eu tentei executar algumas programações exemplares e enfrentei o erro java.net.ConnectException: Connection refused . Voltei para os primeiros passos de executar algumas operações no modo autônomo e enfrentou o mesmo problema.

Realizei uma verificação tripla de todas as etapas de instalação e não tenho ideia de como corrigi-lo. (Eu sou novo no Hadoop e um usuário iniciante do Ubuntu, então eu gentilmente peço para você “levar em conta” se fornecer algum guia ou dica).

Esta é a saída de erro que continuo recebendo:

 hduser@marta-komputer:/usr/local/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[az.]+' 15/02/22 18:23:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classs where applicable 15/02/22 18:23:04 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 java.net.ConnectException: Call From marta-komputer/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:408) at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791) at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:731) at org.apache.hadoop.ipc.Client.call(Client.java:1472) at org.apache.hadoop.ipc.Client.call(Client.java:1399) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232) at com.sun.proxy.$Proxy9.delete(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.delete(ClientNamenodeProtocolTranslatorPB.java:521) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:483) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) at com.sun.proxy.$Proxy10.delete(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.delete(DFSClient.java:1929) at org.apache.hadoop.hdfs.DistributedFileSystem$12.doCall(DistributedFileSystem.java:638) at org.apache.hadoop.hdfs.DistributedFileSystem$12.doCall(DistributedFileSystem.java:634) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.delete(DistributedFileSystem.java:634) at org.apache.hadoop.examples.Grep.run(Grep.java:95) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.examples.Grep.main(Grep.java:101) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:483) at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71) at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144) at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:483) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:716) at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206) at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530) at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:494) at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:607) at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:705) at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:368) at org.apache.hadoop.ipc.Client.getConnection(Client.java:1521) at org.apache.hadoop.ipc.Client.call(Client.java:1438) ... 32 more 

arquivo etc / hadoop / hadoop-env.sh :

 # The java implementation to use. export JAVA_HOME=/usr/lib/jvm/java-8-oracle # The jsvc implementation to use. Jsvc is required to run secure datanodes # that bind to privileged ports to provide authentication of data transfer # protocol. Jsvc is not required if SASL is configured for authentication of # data transfer protocol using non-privileged ports. #export JSVC_HOME=${JSVC_HOME} export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"} # Extra Java CLASSPATH elements. Automatically insert capacity-scheduler. for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do if [ "$HADOOP_CLASSPATH" ]; then export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f else export HADOOP_CLASSPATH=$f fi done # The maximum amount of heap to use, in MB. Default is 1000. #export HADOOP_HEAPSIZE= #export HADOOP_NAMENODE_INIT_HEAPSIZE="" # Extra Java runtime options. Empty by default. export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true" # Command specific options appended to HADOOP_OPTS when specified export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS" export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS $HADOOP_DATANODE_OPTS" export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_SECONDARYNAMENODE_OPTS" export HADOOP_NFS3_OPTS="$HADOOP_NFS3_OPTS" export HADOOP_PORTMAP_OPTS="-Xmx512m $HADOOP_PORTMAP_OPTS" # The following applies to multiple commands (fs, dfs, fsck, distcp etc) export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS" #HADOOP_JAVA_PLATFORM_OPTS="-XX:-UsePerfData $HADOOP_JAVA_PLATFORM_OPTS" # On secure datanodes, user to run the datanode as after dropping privileges. # This **MUST** be uncommented to enable secure HDFS if using privileged ports # to provide authentication of data transfer protocol. This **MUST NOT** be # defined if SASL is configured for authentication of data transfer protocol # using non-privileged ports. export HADOOP_SECURE_DN_USER=${HADOOP_SECURE_DN_USER} # Where log files are stored. $HADOOP_HOME/logs by default. #export HADOOP_LOG_DIR=${HADOOP_LOG_DIR}/$USER # Where log files are stored in the secure data environment. export HADOOP_SECURE_DN_LOG_DIR=${HADOOP_LOG_DIR}/${HADOOP_HDFS_USER} # HDFS Mover specific parameters ### # Specify the JVM options to be used when starting the HDFS Mover. # These options will be appended to the options specified as HADOOP_OPTS # and therefore may override any similar flags set in HADOOP_OPTS # # export HADOOP_MOVER_OPTS="" ### # Advanced Users Only! ### # The directory where pid files are stored. /tmp by default. # NOTE: this should be set to a directory that can only be written to by # the user that will run the hadoop daemons. Otherwise there is the # potential for a symlink attack. export HADOOP_PID_DIR=${HADOOP_PID_DIR} export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # A string representing this instance of hadoop. $USER by default. export HADOOP_IDENT_STRING=$USER 

Arquivo .bashrc Fragmento relacionado ao Hadoop:

 # -- HADOOP ENVIRONMENT VARIABLES START -- # export JAVA_HOME=/usr/lib/jvm/java-8-oracle export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" # -- HADOOP ENVIRONMENT VARIABLES END -- # 

Arquivo /usr/local/hadoop/etc/hadoop/core-site.xml :

   hadoop.tmp.dir /usr/local/hadoop_tmp A base for other temporary directories.   fs.default.name hdfs://localhost:9000   

Arquivo /usr/local/hadoop/etc/hadoop/hdfs-site.xml :

   dfs.replication 1   dfs.namenode.name.dir file:/usr/local/hadoop_tmp/hdfs/namenode   dfs.datanode.data.dir file:/usr/local/hadoop_tmp/hdfs/datanode   

Arquivo /usr/local/hadoop/etc/hadoop/yarn-site.xml :

   yarn.nodemanager.aux-services mapreduce_shuffle   yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler   

Arquivo /usr/local/hadoop/etc/hadoop/mapred-site.xml :

   mapreduce.framework.name yarn   

Rodando hduser@marta-komputer:/usr/local/hadoop$ bin/hdfs namenode -format resulta em uma saída como segue (eu substituo parte de sua parte por (...) ):

 hduser@marta-komputer:/usr/local/hadoop$ bin/hdfs namenode -format 15/02/22 18:50:47 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = marta-komputer/127.0.1.1 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.0 STARTUP_MSG: classpath = /usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/htrace-core-3.0.4.jar:/usr/local/hadoop/share/hadoop/common/lib/commons-cli (...)2.6.0.jar:/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.6.0.jar:/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-2.6.0.jar:/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-app-2.6.0.jar:/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-2.6.0.jar:/usr/local/hadoop/contrib/capacity-scheduler/*.jar STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1; compiled by 'jenkins' on 2014-11-13T21:10Z STARTUP_MSG: java = 1.8.0_31 ************************************************************/ 15/02/22 18:50:47 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT] 15/02/22 18:50:47 INFO namenode.NameNode: createNameNode [-format] 15/02/22 18:50:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classs where applicable Formatting using clusterid: CID-0b65621a-eab3-47a4-bfd0-62b5596a940c 15/02/22 18:50:48 INFO namenode.FSNamesystem: No KeyProvider found. 15/02/22 18:50:48 INFO namenode.FSNamesystem: fsLock is fair:true 15/02/22 18:50:48 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000 15/02/22 18:50:48 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true 15/02/22 18:50:48 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000 15/02/22 18:50:48 INFO blockmanagement.BlockManager: The block deletion will start around 2015 Feb 22 18:50:48 15/02/22 18:50:48 INFO util.GSet: Computing capacity for map BlocksMap 15/02/22 18:50:48 INFO util.GSet: VM type = 64-bit 15/02/22 18:50:48 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB 15/02/22 18:50:48 INFO util.GSet: capacity = 2^21 = 2097152 entries 15/02/22 18:50:48 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false 15/02/22 18:50:48 INFO blockmanagement.BlockManager: defaultReplication = 1 15/02/22 18:50:48 INFO blockmanagement.BlockManager: maxReplication = 512 15/02/22 18:50:48 INFO blockmanagement.BlockManager: minReplication = 1 15/02/22 18:50:48 INFO blockmanagement.BlockManager: maxReplicationStreams = 2 15/02/22 18:50:48 INFO blockmanagement.BlockManager: shouldCheckForEnoughRacks = false 15/02/22 18:50:48 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000 15/02/22 18:50:48 INFO blockmanagement.BlockManager: encryptDataTransfer = false 15/02/22 18:50:48 INFO blockmanagement.BlockManager: maxNumBlocksToLog = 1000 15/02/22 18:50:48 INFO namenode.FSNamesystem: fsOwner = hduser (auth:SIMPLE) 15/02/22 18:50:48 INFO namenode.FSNamesystem: supergroup = supergroup 15/02/22 18:50:48 INFO namenode.FSNamesystem: isPermissionEnabled = true 15/02/22 18:50:48 INFO namenode.FSNamesystem: HA Enabled: false 15/02/22 18:50:48 INFO namenode.FSNamesystem: Append Enabled: true 15/02/22 18:50:48 INFO util.GSet: Computing capacity for map INodeMap 15/02/22 18:50:48 INFO util.GSet: VM type = 64-bit 15/02/22 18:50:48 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB 15/02/22 18:50:48 INFO util.GSet: capacity = 2^20 = 1048576 entries 15/02/22 18:50:48 INFO namenode.NameNode: Caching file names occuring more than 10 times 15/02/22 18:50:48 INFO util.GSet: Computing capacity for map cachedBlocks 15/02/22 18:50:48 INFO util.GSet: VM type = 64-bit 15/02/22 18:50:48 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB 15/02/22 18:50:48 INFO util.GSet: capacity = 2^18 = 262144 entries 15/02/22 18:50:48 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033 15/02/22 18:50:48 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0 15/02/22 18:50:48 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000 15/02/22 18:50:48 INFO namenode.FSNamesystem: Retry cache on namenode is enabled 15/02/22 18:50:48 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis 15/02/22 18:50:48 INFO util.GSet: Computing capacity for map NameNodeRetryCache 15/02/22 18:50:48 INFO util.GSet: VM type = 64-bit 15/02/22 18:50:48 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB 15/02/22 18:50:48 INFO util.GSet: capacity = 2^15 = 32768 entries 15/02/22 18:50:48 INFO namenode.NNConf: ACLs enabled? false 15/02/22 18:50:48 INFO namenode.NNConf: XAttrs enabled? true 15/02/22 18:50:48 INFO namenode.NNConf: Maximum size of an xattr: 16384 Re-format filesystem in Storage Directory /usr/local/hadoop_tmp/hdfs/namenode ? (Y or N) Y 15/02/22 18:50:50 INFO namenode.FSImage: Allocated new BlockPoolId: BP-948369552-127.0.1.1-1424627450316 15/02/22 18:50:50 INFO common.Storage: Storage directory /usr/local/hadoop_tmp/hdfs/namenode has been successfully formatted. 15/02/22 18:50:50 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 15/02/22 18:50:50 INFO util.ExitUtil: Exiting with status 0 15/02/22 18:50:50 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at marta-komputer/127.0.1.1 ************************************************************/ 

A dfs e do yarn resulta na seguinte saída:

 hduser@marta-komputer:/usr/local/hadoop$ start-dfs.sh 15/02/22 18:53:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classs where applicable Starting namenodes on [localhost] localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hduser-namenode-marta-komputer.out localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduser-datanode-marta-komputer.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hduser-secondarynamenode-marta-komputer.out 15/02/22 18:53:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classs where applicable hduser@marta-komputer:/usr/local/hadoop$ start-yarn.sh starting yarn daemons starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hduser-resourcemanager-marta-komputer.out localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduser-nodemanager-marta-komputer.out 

Chamando jps logo depois disso dá:

 hduser@marta-komputer:/usr/local/hadoop$ jps 11696 ResourceManager 11842 NodeManager 11171 NameNode 11523 SecondaryNameNode 12167 Jps 

saída netstat :

 hduser@marta-komputer:/usr/local/hadoop$ sudo netstat -lpten | grep java tcp 0 0 0.0.0.0:8088 0.0.0.0:* LISTEN 1001 690283 11696/java tcp 0 0 0.0.0.0:42745 0.0.0.0:* LISTEN 1001 684574 11842/java tcp 0 0 0.0.0.0:13562 0.0.0.0:* LISTEN 1001 680955 11842/java tcp 0 0 0.0.0.0:8030 0.0.0.0:* LISTEN 1001 684531 11696/java tcp 0 0 0.0.0.0:8031 0.0.0.0:* LISTEN 1001 684524 11696/java tcp 0 0 0.0.0.0:8032 0.0.0.0:* LISTEN 1001 680879 11696/java tcp 0 0 0.0.0.0:8033 0.0.0.0:* LISTEN 1001 687392 11696/java tcp 0 0 0.0.0.0:8040 0.0.0.0:* LISTEN 1001 680951 11842/java tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 1001 687242 11171/java tcp 0 0 0.0.0.0:8042 0.0.0.0:* LISTEN 1001 680956 11842/java tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1001 690252 11523/java tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1001 687239 11171/java 

Arquivo / etc / hosts :

 127.0.0.1 localhost 127.0.1.1 marta-komputer # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 

================================================== ==

ATUALIZAÇÃO 1.

Atualizei o core-site.xml e agora tenho:

  fs.default.name hdfs://marta-komputer:9000  

mas continuo recebendo o erro – agora começando como:

 15/03/01 00:59:34 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 java.net.ConnectException: Call From marta-komputer.home/192.168.1.8 to marta-komputer:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 

Eu também noto que o telnet localhost 9000 não está funcionando:

 hduser@marta-komputer:~$ telnet localhost 9000 Trying 127.0.0.1... telnet: Unable to connect to remote host: Connection refused 

Para mim estes passos funcionaram

  1. stop-all.sh
  2. hadoop namenode -format
  3. start-all.sh

Oi Edite seu conf / core-site.xml e mude o localhost para 0.0.0.0. Use o conf abaixo. Isso deve funcionar.

   fs.default.name hdfs://0.0.0.0:9000  

Eventualmente, eu consegui fazer meu serviço escutar a porta 9000 adicionando ao arquivo /etc/ssh/sshd_config a seguinte linha:

 Port 9000 

Eu segui este serverguide / openssh-server (contém também algumas observações importantes sobre como fazer uma cópia do arquivo original, reiniciar o aplicativo do servidor sshd etc.)

Depois disso, posso ver:

saída telnet :

 martakarass@marta-komputer:~$ telnet localhost 9000 Trying 127.0.0.1... Connected to localhost. 

saída nmap :

 martakarass@marta-komputer:~$ nmap localhost Starting Nmap 6.40 ( http://nmap.org ) at 2015-05-01 18:28 CEST Nmap scan report for localhost (127.0.0.1) Host is up (0.00023s latency). Not shown: 994 closed ports PORT STATE SERVICE 22/tcp open ssh 139/tcp open netbios-ssn 445/tcp open microsoft-ds 631/tcp open ipp 902/tcp open iss-realsecure 9000/tcp open cslistener Nmap done: 1 IP address (1 host up) scanned in 0.05 seconds 

saída netstat :

 martakarass@marta-komputer:~$ sudo netstat -nlp | grep :9000 tcp 0 0 0.0.0.0:9000 0.0.0.0:* LISTEN 16397/sshd tcp6 0 0 :::9000 :::* LISTEN 16397/sshd 

Da saída do netstat você pode ver que o processo está escutando no endereço 127.0.0.1

 tcp 0 0 127.0.0.1:9000 0.0.0.0:* ... 

a partir da mensagem de exceção, você pode ver que ele tenta se conectar ao endereço 127.0.1.1

 java.net.ConnectException: Call From marta-komputer/127.0.1.1 to localhost:9000 failed ... 

ainda mais na exceção é mencionar

 For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 

nesta página você encontra

Verifique se não há uma input para o seu nome de host mapeado para 127.0.0.1 ou 127.0.1.1 em / etc / hosts (o Ubuntu é notório por isso)

então a conclusão é remover essa linha em seu /etc/hosts

 127.0.1.1 marta-komputer 

Eu tive o prolema similar com OP. Como a saída do terminal sugeriu, eu fui para http://wiki.apache.org/hadoop/ConnectionRefused

Eu tentei alterar o meu arquivo / etc / hosts como sugerido aqui, ou seja, remover 127.0.1.1 como OP sugeriu que irá criar outro erro.

Então, no final, deixo como está. O seguinte é meu / etc / hosts

 127.0.0.1 localhost.localdomain localhost 127.0.1.1 linux # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 

No final, descobri que o meu namenode não foi iniciado corretamente, ou seja, quando você digita sudo netstat -lpten | grep java sudo netstat -lpten | grep java no terminal, não haverá nenhum processo da JVM em execução (escutando) na porta 9000.

Então eu fiz dois diretórios para namenode e datanode respectivamente (se você não tiver feito isso). Você não tem que colocar onde eu coloquei, por favor, substitua-o com base no seu diretório hadoop. ou seja

 mkdir -p /home/hadoopuser/hadoop-2.6.2/hdfs/namenode mkdir -p /home/hadoopuser/hadoop-2.6.2/hdfs/datanode 

Eu reconfigurei meu hdfs-site.xml .

   dfs.replication 1   dfs.namenode.name.dir file:/home/hadoopuser/hadoop-2.6.2/hdfs/namenode   dfs.datanode.data.dir file:/home/hadoopuser/hadoop-2.6.2/hdfs/datanode   

No terminal, pare seus hdfs e yarn com o script stop-dfs.sh e stop-yarn.sh . Eles estão localizados em seu diretório hadoop / sbin. No meu caso, é /home/hadoopuser/hadoop-2.6.2/sbin/.

Em seguida, inicie seus hdfs e yarn com o script start-dfs.sh e start-yarn.sh Depois de iniciado, digite jps em seu terminal para ver se seus processos da JVM estão sendo executados corretamente. Deve mostrar o seguinte.

 15678 NodeManager 14982 NameNode 15347 SecondaryNameNode 23814 Jps 15119 DataNode 15548 ResourceManager 

Em seguida, tente usar o netstat novamente para ver se o seu namenode está escutando a porta 9000

 sudo netstat -lpten | grep java 

Se você configurou com sucesso o namenode, deverá ver o seguinte na saída do terminal.

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 1001 175157 14982/java

Em seguida, tente digitar o comando hdfs dfs -mkdir /user/hadoopuser Se este comando for executado com sucesso, agora você pode listar seu diretório no diretório de usuários do HDFS por hdfs dfs -ls /user

Certifique-se de que o HDFS esteja online. Comece por $HADOOP_HOME/sbin/start-dfs.sh Depois de fazer isso, o seu teste com o telnet localhost 9001 deve funcionar.

Para mim foi que eu não pude agrupar meu zelador.

 hdfs haadmin -getServiceState 1 active hdfs haadmin -getServiceState 2 active 

Meu hadoop-hdfs-zkfc- [hostname] .log mostrou:

2017-04-14 11: 46: 55,351 WARN org.apache.hadoop.ha.HealthMonitor: Exceção no nível de transporte tentando monitorar a integridade de NameNode no HOST / 192.168.1.55: 9000: java.net.ConnectException: Conexão recusada Call From HOST / 192.168.1.55 para HOST: 9000 falhou na exceção de conexão: java.net.ConnectException: Conexão recusada; Para mais detalhes, consulte: http://wiki.apache.org/hadoop/ConnectionRefused

solução:

 hdfs-site.xml  dfs.namenode.rpc-bind-host 0.0.0.0  

antes

 netstat -plunt tcp 0 0 192.168.1.55:9000 0.0.0.0:* LISTEN 13133/java nmap localhost -p 9000 Starting Nmap 6.40 ( http://nmap.org ) at 2017-04-14 12:15 EDT Nmap scan report for localhost (127.0.0.1) Host is up (0.000047s latency). Other addresses for localhost (not scanned): 127.0.0.1 PORT STATE SERVICE 9000/tcp closed cslistener 

depois de

 netstat -plunt tcp 0 0 0.0.0.0:9000 0.0.0.0:* LISTEN 14372/java nmap localhost -p 9000 Starting Nmap 6.40 ( http://nmap.org ) at 2017-04-14 12:28 EDT Nmap scan report for localhost (127.0.0.1) Host is up (0.000039s latency). Other addresses for localhost (not scanned): 127.0.0.1 PORT STATE SERVICE 9000/tcp open cslistener 

Verifique sua configuração de firewall e defina

   fs.default.name hdfs://MachineName:9000  

replace localhost para o nome da máquina

hduser @ marta-komputer: / usr / local / hadoop $ jps

11696 ResourceManager

11842 NodeManager

11171 NameNode

11523 SecondaryNameNode

12167 Jps

Onde está o seu DataNode? Connection refused problema de Connection refused também pode ser devido a nenhum DataNode ativo. Verifique os logs do datanode em busca de problemas.

ATUALIZADA:

Por este erro:

15/03/01 00:59:34 INFO client.RMProxy: Conectando a ResourceManager em /0.0.0.0:8032 java.net.ConnectException: Chamada De marta-komputer.home / 192.168.1.8 para marta-komputer: 9000 falhou em exceção de conexão: java.net.ConnectException: Conexão recusada; Para mais detalhes, consulte: http://wiki.apache.org/hadoop/ConnectionRefused

Adicione estas linhas no yarn-site.xml :

  yarn.resourcemanager.address 192.168.1.8:8032   yarn.resourcemanager.scheduler.address 192.168.1.8:8030   yarn.resourcemanager.resource-tracker.address 192.168.1.8:8031  

Reinicie os processos do hadoop.

Seu problema é muito interessante. A configuração do Hadoop pode ser frustrante em algum momento devido à complexidade do sistema e a muitas partes móveis envolvidas. Eu acho que o problema que você enfrentou é definitivamente um firewall. Meu cluster de hadoop tem configuração semelhante. Com uma regra de firewall adicionada ao comando:

  sudo iptables -A INPUT -p tcp --dport 9000 -j REJECT 

Eu posso ver o problema exato:

 15/03/02 23:46:10 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 java.net.ConnectException: Call From mybox/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 

Você pode verificar suas configurações de firewall com o comando:

 /usr/local/hadoop/etc$ sudo iptables -L Chain INPUT (policy ACCEPT) target prot opt source destination REJECT tcp -- anywhere anywhere tcp dpt:9000 reject-with icmp-port-unreachable Chain FORWARD (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination 

Depois que a regra suspeita é identificada, ela pode ser excluída com um comando como:

  sudo iptables -D INPUT -p tcp --dport 9000 -j REJECT 

Agora, a conexão deve passar.

Na minha experiência

 15/02/22 18:23:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classs where applicable 

Você pode ter o sistema operacional de versão de 64 bits e a instalação do hadoop de 32 bits. referir isto

 java.net.ConnectException: Call From marta-komputer/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 

Esse problema se refere à sua autorização de chave pública ssh. por favor, forneça detalhes sobre o seu ssh configurado.

Por favor, consulte este link para verificar os passos completos.

também fornecer informações se

 cat $HOME/.ssh/authorized_keys 

retorna qualquer resultado ou não.

Eu resolvi o mesmo problema adicionando essa propriedade ao hdfs-site.xml

  fs.default.name hdfs://localhost:9000  

Em / etc / hosts:

  1. Adicione esta linha:

seu-endereço-ip seu-nome-do-host

exemplo: 192.168.1.8 mestre

Em / etc / hosts:

  1. Exclua a linha com 127.0.1.1 (isso causará loopback)

  2. Em seu core-site, altere localhost para seu-ip ou seu nome de host

Agora, reinicie o cluster.