前提:使用root用户登录系统,减少不必要的麻烦,以及用户切换
(推荐几个工具)
----------------
1.PieTTY 0.3.26.exe:window下安全的远程连接程序(window下连接虚拟机中linux)。
2.Winscp:支持ssh的文件传输软件。(可以在window下实现和linux文件交互)
1.在虚拟机下安装好linux系统
2.设置静态ip,右键工作栏上电脑符号,修改ip。
2.1重启网卡:service network restart
2.2验证:ifconfig,查看是否正确,ping,查看是否和物理机联通
3.修改主机名:
3.1修改当前会话主机名:hostname 主机名
3.2修改配置文件主机名:vi /etc/sysconfig/network中
hostname=主机名
4.把主机名和ip绑定
4.1vi /etc/hosts 增加一行
192.168.80.100 主机名(hadoop)
验证:在物理机上 ping hadoop
5.关闭防火墙运行(一定要关闭)
service iptables stop
验证:service iptables status
6.关闭防火墙自动运行
执行命令:chkconfig iptables off
7.SSH免登陆(具体见 博客:ssh免登陆)
7.1切换到所在目录 /root/.ssh文件夹
7.2执行命令产生秘(公)钥
ssh-keygen -t rsa
会产生两个文件 id_rsa.pub和id_rsa.
7.3执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
7.4验证: ssh 主机名 看是否需要密码
8.安装jdk(我们的jdk和hadoop都安装在/usr/local下)
a) 执行命令 rm -rf /usr/local/* 删除所有内容
b) 使用工具winscp把jdk文件从windows复制到/usr/local下
c) 执行命令 赋予执行权限 chmod u+x jdk文件名
d) 进行解压缩 ./文件名(要在/usr/local下)
e) 执行命令重命名 mv jdk-.... jdk(方便操作)
f) 设置环境变量 vi /etc/profile
增加两行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
设置立即生效:source /etc/profile
验证:java -version
8.安装hadoop
a) 执行命令 tar -zxvf hadoop-1.1.2.tar.gz进行解压缩
b) 重命名 mv hadoop-1.1.2 hadoop
c) 设置环境变量 vi /etc/profile
d) 增加export HADOOP_HOME=usr/local/hadoop
e) 修改path 增加:$HADOOP_HOME/bin
f) 执行source /etc/profile
g) 修改hadoop配置文件
i. 修改四个配置文件
hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
ii. hadoop-env.sh 修改第九行 jdk路径指定
iii. core-site.xml
iv. 具体修改
------------------------------------------
con/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<--#是描述hadoop集群中NameNode节点的url,集群中其他的节点必须知道NameNode的位置,DataNode必须先在NameNoe上注册,客户端可以通过这个url与NamNode进行数据交互-->
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<--hadoop.tmp.dir是hadoop文件系统依赖的基础配置,NameNode和DataNode的默认存放位置-->
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<--jobtracker所在的主机和端口,-->
<value>hadoop:9001</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<--这个配置决定了hdfs中有保留多少个备份,默认是3个,没有上限,但是过多的备份会占用资源,太少又不安全-->
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>-----------------------------------------------
v. 对hadoop进行格式化:
hadoop namenode -format
执行命令start-all.sh启动执行命令jps 验证,发现5个进程通过浏览器查看(linux)
在windows下查看,修改hosts文件192.168.80.100 hadoop
然后可以直接 hadoop:50070进行查看