hadoop伪分布式搭建

1.首先官网下载最新稳定版hadoop tar.gz，解压到linux中

2.配置hdfs

2.1将hadoop添加到环境变量中

vim/etc/profile

exportJAVA_HOME=/usr/java/jdk1.7.0_55

exportHADOOP_HOME=/itcast/hadoop-2.7.1

exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

2.2修改core-site.xml

<configuration>

<!--指定hdfs的nameservice（namenode）为ns1-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://ns1</value>

</property>

<!--指定hadoop临时目录（存放只要数据）-->

<property>

<name>hadoop.tmp.dir</name>

<value>/itcast/hadoop-2.7.1/tmp</value>

</property>

</configuration>

2.3修改hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

2.4修改mapred-site.xml

<configuration>

<!--指定mr框架为yarn方式-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

2.5修改yarn-site.xml

<configuration>

<!--指定resourcemanager地址-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>你的主机名</value>

</property>

<!--指定nodemanager启动时加载server的方式为shuffleserver -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

3.hdfs上传下载

上传：hadoopfs -put源文件hdfs://主机名:9000/jdk

下载：hadoopfs -get hdfs://主机名:9000/jdk目标目录

浏览器访问：http://主机名:9000(hdfs管理界面)

4.测试mapreduce

测试mapreduce的wc功能（统计），首先编辑一个新文件，输入一些内容，运行hadoop中的mapreduce的示例文件

./start-all.sh：启动hadoop./stop.all.sh关掉hadoop

hadoopfs -ls /：查看hadoop分布式文件系统的根目录

hadoopjar示例jar包wordcount <in>(输入参数:源文件)<out>(输出参数：输出统计结果的目录)

hadoopjar hadoop-mapreduce-examples-2.7.1.jar wordcounthdfs://主机名:9000/words hdfs://主机名:9000/out01

浏览器即可查看输出结果文件