Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop

前言

        正要测试下hadoop的相关程序,我电脑的Vm虚拟机炸了,没找到恢复的办法,虚拟机中的几个系统也都没了。。。。。。。。。。

        既然都这种状态了,那干脆一步步记录下重装的过程吧。分享下流程和资源。

一、装虚拟机

虚拟机的版本其实很多,我这用的是VmWare 16。不想挑的话可直接用我的。

官方通道:  

wmware的官网  https://my.vmware.com


个人资源
链接:https://pan.baidu.com/s/12L4o2MUSEW2EU7y36WUjpg 
提取码:tl8a 

安装过程没什么好讲的,新手的话一直下一步就行。我就不截太多没意义的图了。
Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第1张图片

安装结束后可以看到我们的虚拟机界面,这就算成功了。

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第2张图片

二、安装linux系统

linux系统也是五花八门。我这装的是centos6,各位可以去官网

官方通道:

centos官网Download - CentOS Wiki

设置可以参考这篇文章,算是很详细了。

VMWare下安装Linux系统(详细版)_chen7588693的博客-CSDN博客_vmware安装linux

安装好之后进入。我这已经什么都没有了,一个空白的linux。

通过System->preferences->keyboard shortcuts-  选择desktop 下的run a terminal。设置打开终端。这看个人需要吧。

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第3张图片

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第4张图片

三、安装JDK

找一个linux下的jdk来安装。我安装的是jdk-8u221-linux-x64.tar.gz 

链接:https://pan.baidu.com/s/1CuwSHNGhF33rdoNqaGipCA 
提取码:ohy9 
 


1:启用虚拟机的共享文件夹

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第5张图片

 2:将文件放到linux系统的usr 下(拖动即可)。

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第6张图片

移动失败,因为没有权限。

这里我们设置下文件权限。 

1:我自己用户没有权限,又是个坑,这里可以赋予权限。但为了省事,切换回root用户。

su

2:设置权限

sudo chmod -R 777 /usr

其中:
-R 是指级联应用到文件夹里的全部子文件夹和文件
777 是全部用户都拥有最高权限

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第7张图片

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第8张图片

 3:解压文件

clear 清屏

cd /usr 进入文件夹

tar -zxvf jdk-8u221-linux-x64.tar.gz   解压文件

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第9张图片

4:配置环境变量

 1)输入vim /etc/profile

2)打开后在  在done 和 unset it中间添加环境变量

export JAVA_HOME=/usr/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3)source /etc/profile 让配置生效

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第10张图片

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第11张图片

 Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第12张图片

 5:确认是否安装成功

java -version

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第13张图片

四、安装hadoop

资源hadoop-2.7.1.tar.gz:

链接:https://pan.baidu.com/s/1x15MvqyEjDf7q9O-WrzuRg 
提取码:7qc4 
 

1:查看ssh是否可用

ps -ef | grep ssh

若没有,则使用如下命令进行安装:

sudo apt-get install ssh openssh-server

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第14张图片

 2:下载hadoop包

下载非常慢,各位自行查找,或者直接使用我的。我是在windows下载后放到虚拟机中的linux的。

3:解压hadoop包

我仍然放到 usr下面

使用如下命令解压缩Hadoop安装包

tar -zxvf hadoop-2.7.1.tar.gz

解压缩完成后出现hadoop2.7.1的文件夹

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第15张图片

4:设置hadoop配置文件

用vim改下面三个文件

cd  etc/hadoop  进入文件夹

ls  可以看到需要配置的文件

需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop2.7.1/etc/hadoop下面,具体需要的配置如下:

  1.core-site.xml 配置如下:    

    
      
        hadoop.tmp.dir
        file:/home/leesf/program/hadoop/tmp
        Abase for other temporary directories.
      

      
        fs.defaultFS
        hdfs://localhost:9000
      

    

  其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

  2.mapred-site.xml.template配置如下:    

    
      
        mapred.job.tracker
        localhost:9001
      

    

  3.hdfs-site.xml配置如下:

    
      
        dfs.replication
        1
      

      
        dfs.namenode.name.dir
        file:/home/leesf/program/hadoop/tmp/dfs/name
      

      
        dfs.datanode.data.dir
        file:/home/leesf/program/hadoop/tmp/dfs/data
      

    

  其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置,最好在hadoop.tmp.dir的目录下面。

  补充,如果运行Hadoop的时候发现找不到jdk,可以直接将jdk的路径放置在hadoop.env.sh里面,具体如下:

    export JAVA_HOME=/usr/jdk1.8.0_221

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第16张图片

 5:初始化HDFS系统

在hadop2.7.1目录下使用如下命令:bin/hdfs namenode -format

执行命令

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第17张图片

初始化完成

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第18张图片

7.开启NameNodeDataNode守护进程

使用如下命令开启:sbin/start-dfs.sh

但是失败了,原因是没找到 JAVA_HOME

JAVA_HME is not set and could not be found

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第19张图片

将jdk的路径放置在hadoop.env.sh里面,具体如下,,写你的jdk安装地址和hadoop配置路径:

注意版本号,要你自己的jdk,这是个小坑

export JAVA_HOME=/usr/jdk1.8.0_221
export HADOOP_CONF_DIR=/usr/hadoop-2.7.1/etc/hadoop/ 

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第20张图片

 修改之后再次启动

在hadop2.7.1目录下再次使用如下命令:

bin/hdfs namenode -format 

再次 sbin/start-dfs.sh     、

又报错

我用错文件了 是 hadoop-env.sh 不是hadoop.env.sh

vim hadoop-env.sh  先编辑

source hadoop-env.sh   修改结束记得再加载

 Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第21张图片

在hadop2.7.1目录下再次使用如下命令:

bin/hdfs namenode -format 

再次 sbin/start-dfs.sh     、

总算结束了

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第22张图片

8.查看进程信息

使用如下命令查看进程信息 jps

显示DataNode、Jps、NameDode、SecondaryNameNode 
说明成功了。

    

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第23张图片

9:打开火狐查看WENUI

linux自带火狐浏览器。

我们用alt + F2 打开如下界面,选择火狐浏览器

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第24张图片

在浏览器中输入http://localhost:50070 ,成功

Windows系统下从0开始安装虚拟机+Linux+JDK+Hadoop_第25张图片

你可能感兴趣的:(框架搭建研讨,测试笔记,经验分享,hadoop)