【大数据技术】1.hadoop集群搭建

近年来,大数据技术越来越吃香,也是追求高薪的必备技能之一。
近些日子,打算技术转型,开始研究大数据技术,基于对JAVA、LINUX系统有一定的基础,完成hadoop集群搭建(1个master和1个slave)。

一、准备工具
VMvare、centOS6.3、SSH Secure客户端(具体安装过程这里不做描述)
hadoop2.X压缩包与jdk安装包,我这里准备的JDK和Hadoop软件包如下所示。
【大数据技术】1.hadoop集群搭建_第1张图片
二、Linux环境下静态IP配置

通过虚拟网络NAT模式进行联网,因为NAT模式是根据本机虚拟出来的网段,在设置IP后,无需更改静态IP;而桥接模式的静态IP需要设置在和本主机相同的网段下,若更换网络,也需要更改静态IP。
输入命令ifconfig,查看自己的网卡,如果查不到,可输入命令ifconfig -a,有可能网卡名称是eth0、eth1、eth2等等,看哪个存在就修改哪个
1.进入ip配置界面 命令:cd /etc/sysconfig/network-scripts/文件夹下,输入命令ls,查询文件夹所有文件。
【大数据技术】1.hadoop集群搭建_第2张图片
2.输入命令vi ifcfg-eth0修改文件内容
【大数据技术】1.hadoop集群搭建_第3张图片
需要注意的是:
DNS改成8.8.8.8,以免换了网络由于DNS不对而连不上网,其中MAC地址也要与之对应,包括DEVICE的名称,也要与之前查到的网卡名对应,BOOTPROTO=“static”,表示静态地址,网关号可在虚拟网络编辑器中的NAT设置中查看。
3.IP配置好后,输入命令service network restart,重启网络,再查看下自己的网络是否配置完成
【大数据技术】1.hadoop集群搭建_第4张图片
4.通过输入命令curl www.baidu.com或ping 本机IP地址来测试网络连通性。
5.修改主机名,并设置hadoop集群
编辑文件修改主机名 vi /etc/sysconfig/network
在这里插入图片描述
编辑文件设置集群 vi /etc/hosts,设置各主机地址与对应主机名
在这里插入图片描述
同理配置另一台虚拟机的IP,并设置主机名与hadoop集群,即再执行一次第5步操作
三. JDK安装与环境配置
1.设置共享文件夹
选中第一台虚拟机,启用共享文件夹,共享文件夹中存储的是我的jdk和hadoop软件安装包。
【大数据技术】1.hadoop集群搭建_第5张图片
2.输入命令:cd /mnt/hgfs/ ,并查看共享的文件夹,在上图我设置的共享文件夹名称为dev_centos
在这里插入图片描述
输入命令:cp * /user/local/src/,拷贝jdk文件夹至/user/local/src/下,并检查是否已拷贝进来。
在这里插入图片描述
3.准备设置java环境
解压jdk,输入命令:tar -zxvf ./jdk-6u45-linux-x64.bin
设置环境变量,输入命令:vi /etc/profile ,按“i”进入编辑内容,按“wq”保存并退出
查看文件路径:命令:pwd
在这里插入图片描述
编辑配置文件 vi /etc/profile
【大数据技术】1.hadoop集群搭建_第6张图片
配置JAVA_HOME路径,也可在hadoop安装完成后配置环境
但需注意的是 /etc/profile配置环境文件修改完成后,要输入命令source /etc/profile,更新配置文件
若修改的文件内容有错误,会导致各种linux命令无效,可输入命令/bin/vi /etc/profile,把配置文件改回来。
四. hadoop2.6.1安装与环境配置
进入src文件目录下进行解压,输入命令tar hadoop-2.6.1.tar.gz
在这里插入图片描述
注意:解压完成后修改/etc/profile 环境配置文件,即配置JAVA_HOME,HADOOP_HOME,PATH,并更新(命令:source /etc/profile)
随后,在hadoop-2.6.1文件夹下创建临时文件夹tmp,命令mkdir tmp
接下来就是hadoop配置文件的设置,在当前目录下进入 /etc/hadoop/ 文件夹
如果进入不了,就进入全路径 命令cd /usr/local/src/hadoop-2.6.1/etc/hadoop
此时里面有几个配置文件需要修改:masters,slaves, mapred-site.xml, hdfs-site.xml, hadoop-env.sh, core-site.xml, yarn-site.xml,共七个文件。
1.编辑文件vi masters ;
编辑内容master;
2.编辑文件vi slaves ;(本文集群为一主一从)
编辑内容slave1;也可以换行增加
3.编辑文件vi mapred-site.xml,;
编辑内容如下:
【大数据技术】1.hadoop集群搭建_第7张图片
4.编辑文件vi hdfs-site.xml
编辑内容如下:
【大数据技术】1.hadoop集群搭建_第8张图片

5.编辑文件vi hadoop-env.sh
编辑内容:
【大数据技术】1.hadoop集群搭建_第9张图片

6.编辑文件vi core-site.xml
编辑内容:
【大数据技术】1.hadoop集群搭建_第10张图片
7.编辑文件 vi yarn-site.xml
编辑内容:
【大数据技术】1.hadoop集群搭建_第11张图片
所有文件配置好后,可在/etc/hadoop/文件夹下 输入命令ls -rlt,查看已修改的文件
【大数据技术】1.hadoop集群搭建_第12张图片
五. 启动Hadoop
1 启动之前要先格式化namenode节点, 执行命令:hadoop namenode -format
2 进入/hadoop-2.6.1/sbin/文件夹
执行命令:./start-all.sh 启动hadoop
【大数据技术】1.hadoop集群搭建_第13张图片

提示: 一般不建议用上述命令启动,可以start-dfs.sh和start-yarn.sh来启动HDFS系统和Yarn计算进程
启动完成后,输入命令jps查看进程是否正常启动
在这里插入图片描述

欢迎大家提出问题并指正,继续改善,谢谢。

你可能感兴趣的:(大数据技术)