Hadoop伪分布式搭建启动测试

ssh免密钥（本机）

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

JAVA_HOME

JAVA_HOME=/opt/modules/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin

core-site.xml

         fs.defaultFS

         hdfs://bigdata01:9000





         hadoop.tmp.dir

         /opt/modules/hadoop/pseudo

hdfs-site.xml

         dfs.replication

         1

     

     

         dfs.namenode.secondary.http-address

         bigdata01:50090

 

slaves

bigdata01

HADOOP_HOME

export HADOOP_HOME=/opt/modules/hadoop-2.6.5

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

格式化hdfs（只能格式化一次，再次启动集群不要执行）

hdfs namenode -format

启动集群

start-dfs.sh

创建目录

hdfs dfs -mkdir -p /user/root

查看目录

hdfs dfs -ls /

上传文件

hdfs dfs -put test.txt /user/root

停止集群

stop-dfs.sh

传统方式开启与停止集群

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

 

sbin/hadoop-daemon.sh stop namenode

sbin/hadoop-daemon.sh stop datanode

查看hdfs帮助文档

hdfs dfs