一、创建 hadoop用户
打开终端(Ctrl+AIt+T)
命令:sudo adduser hadoop
需要输入当前用户的密码,输入之后,开始设置hadoop用户的密码,其他默认即可,最后选择 y
二、授权hadoop用户拥有root的权限
1、首先需要先切换到具有超级管理员权限的root
命令:sudo -s
然后输入当前用户密码
再接着输入命令:sudo gedit /etc/sudoers (注意:gedit 跟 /etc 之间有空格,图中有错误示范)
输完之后回车键,就会出现下图的左边部分的图片
左下图中红圈内,原本内容为:#User privilege specification
root ALL=(ALL:ALL)ALL
现在多添加一行(赋予hadoop用户权限):hadoop ALL=(ALL:ALL)ALL
三、安装并启动SSH
1、安装ssh
命令:sudo apt-get install openssh-server
2、安装成功之后,启动服务
命令:sudo /etc/init.d/ssh start
3、(大数据技术原理与应用 第2版)
对于Hadoop的伪分布和全分布,Hadoop名称节点需要启动集群中所有机器的Hadoop守护进程,这个过程可以通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式,因此为了能够顺利登录每台机器,需要将所有机器配置为名称节点可以无密码登录它们。
为了实现SSH无密码登录方式,首先要让名称节点生成自己的SSH密钥,
命令:ssh-keygen -t rsa -P '' (ps:两个单引号 ,也可以是两个双引号)
名称节点生成自己的密钥之后,需要将它的公共密钥发送给集群中的其他机器。可以将 id_dsa.pub中的内容添加
到需要匿名登录的机器的 " ~/ssh/authorized_keys "目录下,然后理论上名称节点就可以无密码登录这台机器了。
命令: cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
四、下载hadoop,解压并安装(版本:2.7.5)
下载地址:http://hadoop.apache.org/releases.html#Dwonload
下载之后解压,解压之后将其转移到其他位置 如 “ /usr/local/hadoop”文件夹下。
下图 原本位置:/home/hadoop/下载 转移之后 :/usr/local/hadoop
赋予hadoop用户对该文件的读写权限
命令:sudo chmod 774 /usr/local/hadoop
hadoop文件夹中的 “etc/hadoop”下的 hadoop-env.sh文件中的JAVA_HOME 改成java的路径
(/usr/lib/jvm/java-1.7.0-openjdk-amd64)【java系统已经预装好了】
完成之后就可以查看hadoop版本了
命令:/usr/local/hadoop/bin/hadoop version
到了这一步Hadoop单机版已经完成了,接下来继续伪分布式的安装(修改参数)
五、修改core-site.xml 、hdfs-site.xml文件(路径:/usr/local/hadoop/etc/hadoop)
1、修改core-site.xml
2、修改hdfs-site.xml
六、配置完成之后,要初始化文件系统
命令 :/usr/local/hadoop/bin/hadoop namenode -format
完成之后,启动所有的进程
命令:/usr/local/hadoop/sbin/start-all.sh
运行只有,可以输入jps查看所有的Java进程
可以访问Web界面(http://localhost:50070)
伪分布式安装ok了!