MAC 系统安装 Hadoop2.7.3

MAC 系统安装 Hadoop2.7.3

1.查看是否安装了Java

使用Item工具，运行java -version 命令，可以查看java版本。

2.下载hadoop

地址  http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

3.配置Mac Os自身环境

这个主要是配置ssh环境，现在Item中输入ssh localhost 

方法一：当前用户没有权限。这个多半是系统为安全考虑，默认设置的。
更改设置如下：进入系统偏好设置 --> 共享 --> 勾选远程登录，并设置允许访问：所有用户。
再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。

 方法二：没有连接成功，需要新生成对应ssh的公钥与私钥，一路无脑next，可以实现最终免密登陆
 ssh-keygen -t dsa-P''-f~/.ssh/id_dsa 
 cat /.ssh/id_dsa.pub >> /.ssh/authorized_keys

4.设置环境变量

在item中输入：touch ~/.bash_profile
打开文件：vim ~/.bash_profile
export HADOOP_HOME=/Users/hadoop/hadoop-1.2.1(根据你自己的目录进行设定)
export PATH=$PATH:$HADOOP_HOME/bin
②保存文件
③设置变量立即生效命令：source ~/.bash_profile
④查看设置变量设置是否成功：hadoop -version

5.配置Hadoop目录下的文件

路径下：hadoop-2.7.3/etc/hadoop
① Hadoop hadoop-env.sh 配置
JAVA_HOME={your java home directory}
HADOOP_PREFIX={your hadoop distribution directory}
说明：查看JAVA_HOME 命令：/usr/libexec/java_home# set to the root of your Hadoop
说明：HADOOP_PREFIX 你本地hadoop路径 xxxx/hadoop-2.7.3/

② core-site.xml文件配置

	fs.defaultFS
	hdfs://localhost:9000


 	hadoop.tmp.dir
 	/Users/admin/Downloads/hadoop-2.7.3/data
 	A base for other temporary directories.
 
 
③ hdfs-site.xml

	dfs.replication
	1

 
  	dfs.name.dir
  	/Users/admin/Downloads/hadoop-2.7.3/name1
 
 
  	dfs.data.dir
  	/Users/admin/Downloads/hadoop-2.7.3/data1
 

④ mapred-site.xml (此文件默认有mapred-site.xml.template,拷贝使用)

	mapreduce.framework.name
	yarn


⑤ yarn-site.xml

	yarn.nodemanager.aux-services
	mapreduce_shuffle


⑥ 安装HDFS
xxxxx(你机器hadoop的目录）/hadoop-2.7.3/bin/hadoop namenode -format

⑦ 启动hadoop
xxxx/hadoop-2.7.3
1）启动NameNode和DataNode的守护进程
(中间提示输入password ，需要输入mac开机密码）
$ sbin/start-dfs.sh
2）启动ResourceManager和NodeManager的守护进程。
(中间提示输入password ，需要输入mac开机密码）
$ sbin/start-yarn.sh
3）访问localhost:50070和localhost:8088测试是否正常

6.运行Hadoop样例程序

/hadoop-2.7.3(在此目录下运行以下命令）
①创建hdfs目录:
$ bin/hdfs dfs -mkdir/user
$ bin/hdfs dfs -mkdir/user/{username}
说明:username 自己设置 (#make sure you add correct username here)
②拷贝一些文件到input目录:
$ bin/hdfs dfs-put etc/hadoop input
③运行样例:
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jargrep input output'dfs[a-z.]+'
hadoop-mapreduce-examples-2.7.3.jar此文件需要版本需要自己查看 ，路径为：xxxx/hadoop-2.7.3/share/hadoop/mapreduce

7.停止Hadoop

/hadoop-2.7.3(在此目录下运行以下命令)
$ sbin/stop-yarn.sh
$ sbin/stop-dfs.sh

本文参考:https://www.jianshu.com/p/de7eb61c983a