java使用Hadoop、Spark、Hbase、TensorFlow实现商城商品智能推荐

说明：该文章介绍在win10上如何操作

1.安装Hadoop

a.首先下载需要的安装包：

https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
https://github.com/s911415/apache-hadoop-3.1.0-winutils/archive/master.zip

b.解压下载文件并进行配置

把hadoop-3.1.3.tar.gz解压到E:\java\hadoop-3.1.3，master.zip解压到E:\java；
修改E:\java\hadoop-3.1.3\etc\hadoop下面的四个配置文件，
添加的时候要注意注释和直接不要有换行
core-site.xml中添加：

        fs.defaultFS
        hdfs://localhost:8020
    
    
        hadoop.tmp.dir
        /E:/hadoop-3.1.3/data/tmp
    
    
        fs.trash.interval
        1440
    

mapred-site.xml中添加：

  
        mapreduce.framework.name
      yarn
    

yarn-site.xml中添加：

            yarn.nodemanager.aux-services
            mapreduce_shuffle
    

            yarn.nodemanager.aux-services.mapreduce.shuffle.class
            org.apache.hahoop.mapred.ShuffleHandler

hdfs-site.xml中添加：

    
        dfs.replication
        1
    

    dfs.permissions.enabled
    false
  
  
      dfs.namenode.name.dir
      /E:/hadoop-3.1.3/data/namenode
  
  
fs.checkpoint.dir
/E:/hadoop-3.1.3/data/snn


fs.checkpoint.edits.dir
/E:/hadoop-3.1.3/data/snn

  
      dfs.datanode.data.dir
      /E:/hadoop-3.1.3/data/datanode
  

c.替换bin目录下面的文件

默认下载的Hadoop不支持Windows系统，需要替换bin目录下的文件方便在Windows上运行，打开解压的apache-hadoop-3.1.0-winutils-master文件夹，复制下面的bin目录到E:\java\hadoop-3.1.3\bin，选择替换重名文件。

d.格式化namenode

打开cmd窗口执行命令：hdfs namenode -format

执行成功后界面

e.启动hadoop

启动之前先复制一个文件，把E:\java\hadoop-3.1.3\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.1.3.jar复制到E:\java\hadoop-3.1.3\share\hadoop\yarn；

cmd窗口执行命令：start-all

start-all

执行命令后会弹出四个cmd窗口，接下来我们再验证hadoop是否能够访问。
访问管理页面：http://localhost:8088/cluster

http://localhost:8088/cluster

访问health页面：http://localhost:9870/dfshealth.html#tab-overview

http://localhost:9870/dfshealth.html#tab-overview

至此Hadoop安装完成

2.安装Hbase

a.下载Hbase安装包

下载地址：https://mirror.bit.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz
下载完成后解压文件到E:\java\hbase-2.2.4
修改配置文件：
E:\java\hbase-2.2.4\conf\hbase-env.cmd 添加配置

set HBASE_MANAGES_ZK=true
set JAVA_HOME=E:\java\jre8
set HBASE_CLASSPATH=E:\java\hbase-2.2.4\conf

E:\java\hbase-2.2.4\conf\hbase-site.xml 添加配置

    
hbase.master
localhost
    
     
        hbase.rootdir 
        file:///E:/datacenter/hbdata/root 
     
     
        hbase.tmp.dir 
        E:/datacenter/hbdata/tmp 
     
     
        hbase.zookeeper.quorum 
        localhost
     
     
        hbase.zookeeper.property.dataDir 
        E:/datacenter/hbdata/zoo 
    
    
     
        hbase.cluster.distributed 
        false 
    
    
　　　　hbase.master.info.port
　　　　60010
    

b.启动Hbase

进入文件夹 ：E:\java\hbase-2.2.4\bin

启动Hbase

选中 start-hbase.cmd 以管理员方式运行

start-hbase.cmd

访问：http://localhost:60010/master-status

http://localhost:60010/master-status

至此Hbase启动完成