hadoop分布式框架的配置

网络配置和主机名

为了保证以后配置分布式集群的时候IP不会变动，保证你的IP使用的是静态IP。主机名也改成一个固定的。

JAVA环境配置

因为hadoop的运行需要依赖JAVA环境，因此必须将JAVA的主目录路径配置到环境变量中去。

由于不同系统的Java安装目录不一样，我们可以使用 对应命令先查看JAVA安装目录的位置，如下是MAC环境查看JAVA主目录的地址的命令：

>>/usr/libexec/java_home -V

之后打开配置文件配置环境变量JAVA_HOME,如下是MAC环境的环境变量配置文件位置：

>>vim ~/.bash_profile

打开后需要添加环境变量JAVA_HOME,并将JAVA_HOME中bin文件夹的路径添加到PATH环境变量中：

配置环境变量

由于这个配置文件每次开机只会启动一次，为了让其立即生效，需要执行如下命令进行激活：

>>source  /.bash_profile

此时，可以运行如下命令测试JAVA环境是否安装成功：

>>java -version

安装配置Hadoop

安装好的hadoop目录下有几个比较重要的目录：

sbin:启动或停止hadoop相关服务的脚本。

bin:对hadoop相关服务（HDFS、YARN）进行操作的脚本。

etc:Hadoop的配置文件目录。

share:Hadoop的依赖jar包和文档，文档可以被删除。

lib:Hadoop的本地库（对数据库进行压缩功能的）

启动Hadoop需要先配置hadoop/etc目录下的六个配置文件：

hadoop-env.sh

这个配置文件里需要给hadoop配置JAVA环境：

hadoop-env.sh

core-site.xml

这个配置文件用于给hadoop配置HDFS的namenode的地址和端口号。

第二个property中配置的是hadoop运行时产生数据的存储目录。

core-site.xml

hdfs-site.xml

这个配置文件用于给hadoop配置HDFS上数据副本（包含原数据）的数量。

hfs-site.xml

mapred-site.xml

注意：在较新版的hadoop中，这个文件被命名为mapred-site.xml.template,此时需要先改变其名称。这个配置文件用于指定mapreduce编程模型运行在yarn上。

mapred-site.xml

yarn-site.xml

yarn-site.xml

HDFS初始化

也就是格式化HDFS中的数据。

先进入hadoop目录的bin文件夹下，找到hdfs命令文件。

hadoop的bin文件夹

在当前目录下执行以下命令：

>>./hdfs namenode -format

启动hadoop

先进入到hadoop主目录下的sbin文件夹下:

hadoop/sbin

公私钥对的免密码登录

根目录下，进入.ssh文件夹，输入一下命令

>>ssh-keygen -t rsa

然后输入四个回车即得到一对公私钥匙：

公私钥对

>>ssh-copy-id IP地址

这个命令可以将公钥拷贝到指定IP上。

>>ssh-copy-id localhost即可将公钥拷贝到自己到本地主机上，接下来就可以在hadoop中进行免密码登录了。