Hadoop从入门到上手工作视频(1)-搭建hadoop环境

1.宿主机（windwos）与客户机（安装在虚拟机中的linux）网络连接
1.1 host-only 宿主机与客户机单独组网
好处：网络隔离
坏处：虚拟机与其他服务器之间不能通讯
1.2 bridge 客户机与宿主机在同一个局域网中。
好处：都在同一个局域网，可以互相访问
坏处：不安全
-----------------------------------------------
2.hadoop的伪分布安装步骤
【使用root用户登录，su root的话有些权限没有】
2.1 设置静态ip
在centos桌面右上角的图标上，右键修改。
重启网卡，执行命令service network restart
验证：执行命令 ifconfig
2.2 修改主机名
<1>修改当前会话中的主机名，执行命令hostname hadoop
<2>修改配置文件中的主机名，执行命令 vi /etc/sysconfig/network
验证：重启机器
2.3 把hsotname和ip绑定
执行命令vi /etc/hosts,增加一行内容，如下 192.168.56.101 hadoop
保存退出
验证:ping hadoop
2.4关闭防火墙
执行命令 service iptables stop
验证：service iptables status
2.5 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证： chkconfig --list |grep iptables
2.6 SSH(sercure shell)的免密码登陆
<1>执行命令 ssh-keygen -t rsa 产生秘钥，位于~/.ssh文件下
<2>执行命令 cp~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证： ssh hadoop(主机名)
2.7 安装JDK
<1> 执行命令 rm -rf /usr/local/* 删除所用内容
<2>使用FTP工具把jdk文件从windows复制到 /usr/local目录下
<3>执行命令 chmod u+x jdk-6u24-linux-i586.bin 赋予执行权限
<4>执行命令 ./jdk-6u24-linux-i586.bin 解压缩
<5>执行命令 mv jdk1.6.0_24 jdk 重命名
<6>执行命令 vi /etc/profile 设置环境变量，增加了2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile 让该设置立即生效
验证：java -version
2.8 安装hadoop
<1> 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 进行解压缩
<2>执行命令 mv hadoop-1.1.2 hadoop 重命名
<3>执行命令 vi /etc/profile 设置环境变量，
增加1行内容
export HADOOP_HOME=/usr/local/hadoop
修改了一行内容
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出

执行命令 source /etc/profile 让该设置立即生效

vi编辑器 ： vi 只读，不能写；编辑，能读，也能写；需要执行命令； 按Esc键，然后按shift+: 输入wq保存退出命令

<4>修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下的配置：
修改4个配置文件，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
具体修改内容:
1.【hadoop-env.sh 修改第9行,内容如下:】
export JAVA_HOME=/usr/local/jdk/

2.【core-site.xml修改内容如下：】
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
3.【hdfs-site.xml修改内容如下：】
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

4.【mapred-site.xml修改内容如下：】
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
<5>执行命令 hadoop namenode -format 对hadoop进行格式化
<6>执行命令 start-all.sh启动
验证：(1)执行命令jps,发现5个java进程，分别是NameNode、DataNode、SecondayNameNode、jbtracker、tasktracker
(2)通过浏览器 http://hadoop:50070 和http://hadoop:50030
******可以修改 windows的C:\Windows\System32\drivers\etc\hosts文件*****
修改内容 192.168.56.101 hadoop
2.9 NameNode进程没有启动成功?
(1)没有格式化
(2)配置文件只copy,不修改
(3)hostname与ip没有绑定
(4)SSH的免密码登陆没有配置成功
3.0 多次格式化hadoop也是错误的?
方法：删除/usr/local/hadoop/tmp文件夹，重新格式化

3.1 去除hadoop的启动过程中警告信息
查看more start-all.sh文件 发现执行的是 hadoop-config.sh
再查看more hadoop-config.sh 发相警告语句
给$HADOOP_HOME_WARN_SUPPRESS设置任意值
vi /etc/profile
添加 export HADOOP_HOME_WARN_SUPPRESS=1
保存退出
执行命令 source /etc/profile 让该设置立即生效
验证:启动 start-all.sh