Hadoop安装配置(更新)

之前漏掉了一些小细节，已经补上，不再修改内容，请直接下载附件

1.    安装环境

1)     操作系统

2)     SSH连接工具：XShell及XManager

新建连接：点击窗口左上方“新建”按钮，在弹出窗口填写名称（自定义）及主机IP，如下图所示：

设置中文显示（中文乱码）：选择弹出窗口左侧“终端”菜单，右侧“终端类型”选择“linux”，“编码”选择“UTF-8”，如下图所示：

设置使用XManager：选择弹出窗口左侧“隧道”菜单，右侧”X11转移”选中“Xmanager”，如下图所示：‘

点击“确定”，输入用户名和密码，进入终端命令行，如下图所示：

3)     配置SecureCRTSecureFX

点击左上角”快速连接”快捷按钮，填写“主机名”和用户名，点击“连接”按钮，输入用户名对应密码，如下图所示：

选择“视图”菜单下的“本地窗口”，左侧显示本地目录，右侧为服务器目录，如下图所示：

2.    安装配置JDK    

1)     安装JDK

2)     设置环境变量：vim .bashrc

3.    安装配置Hadoop  （单一节点）

1)     配置ssh免密码及环境准备

生成公钥：ssh-keygen -t rsa

添加公钥到authorized_keys文件：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

解压Hadoop安装包：tar –zxvf  hadoop-0.20.2.tar.gz

2)     配置Hadoop环境变量：vim .bashrc

3)     修改Hadoop配置文件

编辑：vim core-site.xml

编辑：vim mapred-site.xml

编辑：vim hdfs-site.xml

4.    启动/停止Hadoop 

5.    安装配置Hadoop  （多节点，非生成环境，不使用DNS和NFS）

1)     配置ssh免密码

生成公钥：ssh-keygen -t rsa

添加公钥到authorized_keys文件：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

注意：以上操作需要在每个节点执行，并将各自的公钥添加到authorized_keys文件

2)     配置Hadoop环境变量：vim .bashrc

同3.2

3)     修改Hadoop配置文件

同3.3

在HADOOP_HOME/conf目录下的masters文件中添加SecondaryNameNode节点地址，slaves文件中添加TaskTracker和DataNode节点地址

4)   向各节点复制Hadoop

生成批量拷贝脚本

给脚本添加可执行权限

[tangtaibin@tangtb-PC conf]$ chmod 755 cphadoop.sh

拷贝完毕，格式化文件系统并启动集群

[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/hadoop namenode -format

[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/start-all.sh

 

从Web页面监控Hadoop集群及Map/Reduce任务

http://10.120.10.11:50070/dfshealth.jsp

http://10.120.10.11:50030/jobtracker.jsp

附件： Hadoop安装配置