002.课程环境搭建-centos 6.4集群搭建

CentOS6.4安装

1、使用课程提供的镜像：CentOS-6.4-i386-minimal.iso。
2、创建虚拟机：打开Virtual Box，点击“新建”按钮；输入虚拟机名称为sparkproject1，选择操作系统为Linux，选择版本为Red Hat；分配1024MB内存；后面所有选项全部用默认的设置；注意，在Virtual disk file location and size中，一定要自己选择一个目录来存放虚拟机文件；最后点击“create”按钮，开始创建虚拟机。
3、设置网卡（桥接网卡）：选择创建好的虚拟机，点击“设置”按钮，在网络一栏中，连接方式中，选择“Bridged Adapter”，即桥接网卡。
4、安装CentOS 6.4操作系统：选择创建好的虚拟机，点击“开始”按钮；选择安装介质（即本地的CentOS 6.4镜像文件）；选择第一项开始安装-Skip-欢迎界面Next-选择默认语言-Baisc Storage Devices-Yes, discard any data-主机名:sparkproject1-选择时区-设置初始密码为hadoop-Replace Existing Linux System-Write changes to disk-开始安装。
5、安装完以后，会提醒你要重启一下，就是reboot，reboot就可以了。

密码设为hadoop
切出virtualbox的快捷键为 右ctrl

网络配置

1、先临时性设置虚拟机ip地址：ifconfig eth0 192.168.1.110，在/etc/hosts文件中配置本地ip到host的映射
2、配置windows主机上的hosts文件：C:\Windows\System32\drivers\etc\hosts，192.168.1.110 sparkproject1
3、使用SecureCRT从windows上连接虚拟机
4、永久性配置CentOS网络
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.110
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
5、重启网卡
service network restart

vi /etc/hosts
添加并保存 192.168.1.110 sparkproject1
ping sparkproject1

按ESC键 跳到命令模式，然后：
:w 保存文件但不退出vi
:w file 将修改另外保存到file中，不退出vi
:w! 强制保存，不推出vi
:wq 保存文件并退出vi
:wq! 强制保存文件，并退出vi
q: 不保存文件，退出vi
:q! 不保存文件，强制退出vi
:e! 放弃所有修改，从上次保存文件开始再编辑

关闭防火墙

service iptables stop
service ip6tables stop
service iptables status
service ip6tables status

chkconfig iptables off
chkconfig ip6tablesoff

vi /etc/selinux/config
SELINUX=disabled

在win7的控制面板中，关闭windows的防火墙！如果不关闭防火墙的话，就怕，可能win7和虚拟机直接无法ping通！

配置DNS服务器，替换repo文件，配置yum

1、配置DNS服务器
vi /etc/resolv.conf
nameserver 61.139.2.69

ping www.baidu.com

1、修改repo
将CentOS6-Base-163.repo上传到CentOS中的/usr/local目录下
cd /etc/yum.repos.d/
rm -rf *
mv 自己的repo文件移动到/etc/yum.repos.d/目录中：cp /usr/local/CentOS6-Base-163.repo .
修改repo文件，把所有gpgcheck属性修改为0

2、配置yum
yum clean all
yum makecache
yum install telnet

解决无法访问外网的问题

即使更换了ip地址，重启网卡，可能还是联不通网。那么可以先将IPADDR、NETMASK、GATEWAY给删除，将BOOTPROTO改成dhcp。然后用service network restart重启网卡。此时linux会自动给分配一个ip地址，用ifconfig查看分配的ip地址。然后再次按照之前说的，配置网卡，将ip改成自动分配的ip地址。最后再重启一次网卡。

安装JDK

1、将jdk-7u60-linux-i586.rpm上传到虚拟机中
2、安装JDK：rpm -ivh jdk-7u65-linux-i586.rpm
3、配置jdk相关的环境变量
vi ~/.bashrc
export JAVA_HOME=/usr/java/latest
export PATH=JAVA_HOME/bin
source ~/.bashrc
4、测试jdk安装是否成功：java -version
5、rm -f /etc/udev/rules.d/70-persistent-net.rules

linux中 ~ 表示的是什么目录？

~ 表示代码主目录，也就是当前登录用户的用户目录。
比如：我登录用户是chen
cd ~
~ 代表的就是 /home/chen/

这里的.bashrc应为~/.bashrc

按照以上操作，再增加两台机器sparkproject2，sparkproject3

配置集群ssh免密码登陆

1、在三台机器的/etc/hosts文件中，都配置对三台机器的ip-hostname的映射

2、首先在三台机器上配置对本机的ssh免密码登录
生成本机的公钥，过程中不断敲回车即可，ssh-keygen命令默认会将公钥放在/root/.ssh目录下
ssh-keygen -t rsa
将公钥复制为authorized_keys文件，此时使用ssh连接本机就不需要输入密码了
cd /root/.ssh
cp id_rsa.pub authorized_keys

3、接着配置三台机器互相之间的ssh免密码登录
使用ssh-copy-id -i spark命令将本机的公钥拷贝到指定机器的authorized_keys文件中（方便好用）