准备:
通过修改/etc/sysconfig/network-scripts/ifcfg-eth0 ,配置ip等信息
vi /etc/hosts
172.16.16.1 hdfs1
设置master到任意节点的无密码登录
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter same passphrase again:
The key fingerprint is:
[root@hdfs1 .ssh]# mv id_rsa.pub id_rsahdfs1.pub
[root@hdfs1 .ssh]# ssh hdfs1
[root@hdfs1 .ssh]# ssh hdfs2
[root@hdfs1 .ssh]# ssh hdfs3
Ok , ssh验证均不需要密码
chmod 755 jdk-6u31-linux-i586.bin
注意:
因为安装jdk,就是安装Java程序,看系统默认的程序是否卸载掉,可以手动删除,然后在做一个软连接
java version "1.6.0"
删除/usr/bin 的Java符号链接
然后再做一个软连接:
Java(TM) SE Runtime Environment (build 1.6.0_31-b04)
所有的主机的Java都调整好后,开始编辑hadoop的配置文件
配置core-site、mapred-site、hdfs-site文件
sudo gedit conf/core-site.xml
修改为:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
sudo gedit conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
sudo gedit conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
设置hdfs系统备份文件数,此值设置为2,说明当一个文件上传到hdfs系统中,会被备份2个
设置主从节点:
同样的配置文件,拷贝到其它两台slave节点中
开启hdfs防火墙端口:
重启防火墙,使新添加的防火墙规则生效
[root@hdfs1 hadoop-1.0.1]# /usr/local/hadoop-1.0.1/bin/hadoop namenode -format
STARTUP_MSG: Starting NameNode
STARTUP_MSG: version = 1.0.1
12/03/24 13:19:17 INFO util.GSet: VM type = 32-bit
12/03/24 13:19:17 INFO util.GSet: recommended=4194304, actual=4194304
12/03/24 13:19:18 INFO namenode.FSNamesystem: isPermissionEnabled=true
12/03/24 13:19:18 INFO namenode.NameNode: Caching file names occuring more than 10 times
12/03/24 13:19:18 INFO namenode.NameNode: SHUTDOWN_MSG:
************************************************************/
启动hadoop进程
hdfs3: starting datanode, logging to /usr/local/hadoop-1.0.1/libexec/../logs/hadoop-root-datanode-hdfs3.out
starting jobtracker, logging to /usr/local/hadoop-1.0.1/libexec/../logs/hadoop-root-jobtracker-hdfs1.out
启动完成后,用ps -ef 可以查到hdfs上启动了3个关于hadoop有关的java进程,
server.namenode.NameNode
namenode.SecondaryNameNode
mapred.JobTracker
Vi /etc/profile
同步到其他slave节点上
[root@hdfs1 bin]# scp /etc/profile root@hdfs3:/etc/
让文件生效,这样hadoop/bin下的和jdk/bin/下的命令,可以任意调用
[root@hdfs1 bin]# jps
8592 JobTracker
8600 Jps
[root@hdfs3 bin]# jps
11902 TaskTracker
<span yes';="" font-size:10.5000pt;="" font-family:'宋体';="" "="" style="padding-top: 0px; padding-right: 0px; padding-bottom: 0px; padding-left: 0px; margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">
以上所有的步骤,是hadoop集群系统的安装、配置部分,后续将继续发表出hdfs的命令、操作等其它文章