本主编心血来潮,整理出此文档,若有不对的地方请诸位指出错误
准备:自行下载Vmvare虚拟机,SecureCRT和CentOS-6.5-x86_64-bin-DVD1.iso(镜像文件)
关于VMware,SecureCRT的安装以及在VMvare虚拟机上如何装Centos-6.5都很简单,大家网上查找如何安装以及其注意事项即可,在这里不再说明。请谅解,以上环境都准备好的,接下来我们进入正式的环境配置:
Hadoop 的部署
1、linux系统的安装、配置
我们对于虚拟机软件特别是虚拟网络环境很困惑,这里需要详细讲一下虚拟机的思想。可先讲实际环境(要物理机,要交换机,要网络配置)
那么,在虚拟环境下,同样需要具备这些要素,缺一不可,只是机器,交换机需要用虚拟的方式产生的而已。这里我们需要了解一下交换机和网关的概念?在计算机网络系统中,交换机产生的目的在于解决共享工作模式。交换机拥有一条高带宽的背部总线和内部交换矩阵。
网关简单地说是用于连接局域网和Internet。因此,我们在生产中VMWare虚拟机提供了三种工作模式:
1.bridged(桥接模式)
2.NAT(网络地址转换模式)
3.host-only(主机模式)
其中两种典型的网络连接模式,nat和bridge桥接模式。 桥接模式:在bridged模式下,VMWare虚拟出来的操作系统就像是局域网中的一台独立的主机,它可以访问网内任何一台机器。在bridged模式下,你需要手工为虚拟系统配置IP地址、子网掩码,而且还要和宿主机器处于同一网段,这样虚拟系统才能和宿主机器进行通信。Nat模式:使用NAT模式,就是让虚拟系统借助NAT(网络地址转换)功能,通过宿主机器所在的网络来访问公网。也就是说,使用NAT模式可以实现在虚拟系统里访问互联网。
因此,在我们搭建云平台的时候需要做以下准备工作:
vmware虚拟机软件,centos6.5的安装,虚拟机软件的vmnet配置,nat方式或者桥接方式
先用ifconfig查看目前的活跃网卡,然后修改网卡的ip地址配置
setup配置ip地址(简易图形界面)
接下来我们通过安装secureCRT来连接Linux如图
Linux第一步:修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME= ###
第二步:修改主机名和IP的映射关系
vim /etc/hosts
第三步关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
第四步:重启Linux
reboot
2.安装JDK
步骤一:按住alt+p,就会跳出一个sftp窗口,再加命令:
put d:\~\jdk-7u79-linux-x64.gz
步骤二:
解压jdk
主要命令是:tar -zxvf jdk-7u79-linux-x64.gz -C /app 如图
步骤三:将java添加到环境变量中
vim /etc/profile
export JAVA_HOME=/app/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
步骤四:安装hadoop-2.5.0
1.先把Hadoop安装包放在服务器上,再次使用sftp机制,按住alt+p,接着put +宿主机上Hadoop安装包的路径,然后解压
伪分布式分为五个步骤配置:
配置一:hadoop-env.sh
export JAVA_HOME=/usr/share/jdk1.7.0_79(此处为jdk的路径)
配置二:core-site.xml
配置三:hdfs-site.xml
配置四: mapred-site.xml
配置五:yarn-site.xml
最后在格式化HDFS,Hadoop命令为hadoop namenode -format
注:我们会发现没有用,因为我们还没有配置环境变量,因此格式化之前我们应该先配置一下Hadoop的环境变量。在Hadoop的bin目录下,输入sudo vi/etc/profile
Export HADOOP_HOME=/(此处为hadoop的安装目录)/hadoop-2.5.0
Export Path=$PATH:$HAOOP_HOME/bin:$HADOOP_HOME/bin
最后为了是它生效,我们输入命令source/etc/profile
然后再格式化即完成。
好了 顺利结束了,我们可以用简单wordCount来验证。