Hadoop伪分布式安装详细步骤(前提:使用root权限登录)-------<总结>

前提:使用root用户登录系统,减少不必要的麻烦,以及用户切换

(推荐几个工具

----------------

1.PieTTY 0.3.26.exe:window下安全的远程连接程序(window下连接虚拟机中linux)。

2.Winscp:支持ssh的文件传输软件。(可以在window下实现和linux文件交互)

1.在虚拟机下安装好linux系统


2.设置静态ip,右键工作栏上电脑符号,修改ip。

 2.1重启网卡:service network restart

 2.2验证:ifconfig,查看是否正确,ping,查看是否和物理机联通


3.修改主机名:

 3.1修改当前会话主机名:hostname 主机名

 3.2修改配置文件主机名:vi /etc/sysconfig/network中

    hostname=主机名

4.把主机名和ip绑定

 4.1vi /etc/hosts 增加一行  

                   192.168.80.100 主机名(hadoop)

    验证:在物理机上 ping hadoop

5.关闭防火墙运行(一定要关闭)

 service iptables stop

 验证:service iptables status

6.关闭防火墙自动运行

 执行命令:chkconfig iptables off

7.SSH免登陆(具体见 博客:ssh免登陆)

 7.1切换到所在目录  /root/.ssh文件夹

 7.2执行命令产生秘(公)钥

           ssh-keygen -t rsa

    会产生两个文件 id_rsa.pub和id_rsa.

 7.3执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

7.4验证: ssh 主机名 看是否需要密码

8.安装jdk(我们的jdk和hadoop都安装在/usr/local下)

a) 执行命令 rm -rf /usr/local/* 删除所有内容

b) 使用工具winscpjdk文件从windows复制到/usr/local

c) 执行命令 赋予执行权限 chmod  u+x  jdk文件名

d) 进行解压缩 ./文件名(要在/usr/local)

e) 执行命令重命名  mv jdk-.... jdk(方便操作)

f) 设置环境变量 vi /etc/profile

  增加两行内容

  export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

保存退出

设置立即生效:source /etc/profile

验证:java -version

8.安装hadoop

a) 执行命令 tar -zxvf hadoop-1.1.2.tar.gz进行解压缩

b) 重命名 mv hadoop-1.1.2 hadoop

c) 设置环境变量 vi /etc/profile

d) 增加export HADOOP_HOME=usr/local/hadoop

e) 修改path 增加:$HADOOP_HOME/bin

f) 执行source /etc/profile

g) 修改hadoop配置文件

i. 修改四个配置文件

hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xml

ii. hadoop-env.sh 修改第九行 jdk路径指定

iii. core-site.xml

iv. 具体修改

------------------------------------------

con/core-site.xml:

<configuration>

<property>

   <name>fs.default.name</name>

<--#是描述hadoop集群中NameNode节点的url,集群中其他的节点必须知道NameNode的位置,DataNode必须先在NameNoe上注册,客户端可以通过这个url与NamNode进行数据交互-->

   <value>hdfs://hadoop:9000</value>

   <description>change your own hostname</description>

</property>

<property>

   <name>hadoop.tmp.dir</name>

<--hadoop.tmp.dir是hadoop文件系统依赖的基础配置,NameNode和DataNode的默认存放位置-->

   <value>/usr/local/hadoop/tmp</value>

</property>

</configuration>




conf/mapred-site.xml:

<configuration>

<property>

   <name>mapred.job.tracker</name>

 <--jobtracker所在的主机和端口,-->

   <value>hadoop:9001</value>

</property>

</configuration>




conf/hdfs-site.xml:

<configuration>

<property>

   <name>dfs.replication</name>

<--这个配置决定了hdfs中有保留多少个备份,默认是3个,没有上限,但是过多的备份会占用资源,太少又不安全-->

   <value>1</value>

</property>

<property>

   <name>dfs.permissions</name>

   <value>false</value>

</property>

</configuration>-----------------------------------------------

v. hadoop进行格式化:

   hadoop namenode -format

执行命令start-all.sh启动执行命令jps 验证,发现5个进程通过浏览器查看(linux

windows下查看,修改hosts文件192.168.80.100 hadoop

然后可以直接  hadoop:50070进行查看






你可能感兴趣的:(hadoop,安装,伪分布式)