<div class="it610-blog-content-contain" style="font-size: 14px"></div>
Hadoop环境配置以及安装过程:
<!--[1、Linux系统安装,以及网络的搭建
1.1 网络的选择为host-only模式
1.2 启动vmwave的虚拟网络配置器
1.3修改ip地址,将VMware网络配置器中的iP地址设置成192.168.80.1,在Linux中网络连接中将连接更改为manual(自定义),并设定ip地址192.168.80.X,只需要网关为192.168.80.1
1.4 验证ip地址设定是否成功,在本机cmd模式下,ping 192.168.80.X,并在Linux中终端ping 192.168.80.1,若能ping通,则网络设置成功。
2、主机名的更改,绑定iP与主机名
2.1 执行命令hostname demo1,将主机名修改为demo1
2.2 执行命令vi /etc/hosts ,并将192.168.80.9 demo1, 添加至文件中,保存并退出
2.3 执行命令 vi /etc/sysconfig/network ,将hostname 的值修改为demo1,保存退出
2.4 执行命令source /etc/sysconfig/network ,激活文件
3、安装jdk
3.1 拷贝文件,使用winscp将jdk文件、Hadoop文件拷贝至/usr/local 文件下
3.2 执行命令 ./jdk-6u24-linux-i585.bin得到文件jdk-----
3.3 执行命令mv jdk---- jdk 将文件名修改为jdk
3.4 配置环境变量 执行vi /etc/profile 打开文件profile,并添加
Export JAVA_HOME=/usr/local/jdk
Export PATH=.:$PATH:$JAVA_HOME/bin
3.4 保存关闭后,在shell命令下执行source /etc/profile 来激活配置文件
3.5 使用Java、javac、Java -version来验证是否安装成功
4、关闭防火墙
4.1 执行命令service iptables status 来查看防火墙的状态消息
4.2 执行命令 service iptables stop 来关闭防火墙
4.3 执行命令chkconfig iptables off 来关闭防火墙的自动运行
4.4 执行命令chkconfig --list | grep iptables 来查看是否关闭服务自动启动设置
5、设置SSH免密码登陆
5.1 执行命令 cd /root/.ssh 切换到文件.ssh文件下
5.2 执行命令ssh-keygen -t rsa 来创建公钥,ssh-keygen -t rsa”表示使用 rsa 加密方式生成密钥
5.3 执行命令cp id_rsa.pub authorized_keys 将文件复制至authorized_keys中
5.4 验证连接 ssh localhost ,并执行exit返回至.ssh文件下
6、安装Hadoop
6.1 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压Hadoop压缩文件
6.2 执行命令mv hadoop-1.1.2 hadoop 将文件名修改为Hadoop
6.3 修改环境变量 :执行命令 vi /etc/profile,添加
Export HADOOP_HOME=/usr/local/hadoop
修改 PATH=.:$HADOOP_HOME/BIN:$JAVA_HOME/BIN:$PATH(在配置环境变量时PATH=.....必须放在最后,否则将无法识别在PATH后面的变量)
2014-08-18
Hdfs文件系统下的命令:
Hadoop fs -ls:显示hdfs下的文件
Hadoop fs -lsr:递归查询hdfs系统下所有的文件
Hadoop fs -mkdir ./d1:在hdfs系统的home目录下创建一个文件夹d1
Hadoop fs -put <原路径> <目的路径>:把数据上传到目的路径
Hadoop fs -get <原路径> <目的路径> :把数据从原路径下载到目的路径下
Hadoopfs -tetx <文件>:查看文件
Hadoop fs -rm:删除文件
Hadoop fs -rmr :删除目录
<!--EndFragment-->