让我来告诉你，学习大数据都是要安装哪些软件

文章更新于：2020-04-09
注：用于汇总大数据相关软件安装教程。

一、软件总览

软件名	笔者博客	下载链接	备注
ssh	安装 SSH	使用 apt/yum 安装	安装 SSH
jdk 1.8.0_241	安装 JDK	下载 JDK	安装 JDK
hadoop 3.2.1	安装 HADOOP	下载 HADOOP	安装 HADOOP
eclipse-Java
hbase 2.2.4	安装 HBase	下载 HBASE	安装 HBASE
scala 2.12.11	安装 SCALA	下载 SCALA	安装 SCALA
spark 2.4.5	安装 SPARK	下载 SPARK	安装 SPARK
sbt 1.3.8	安装 SBT	下载 SBT（更多版本）	安装 SBT
maven 3.6.3	安装 MAVEN	下载 MAVEN	安装 MAVEN
eclipse-scala	安装 SCALA-IDE	下载 IDE	安装 IDE

二、安装过程提纲

2.1、安装 ssh

稍后再写。。

2.2、hadoop

2.2.1、core-site.xml

<configuration>
        <property>
                <name>hadoop.tmp.dirname>
                <value>file:/usr/local/hadoop/tmpvalue>
                <description>Abase for other temporary directories.description>
        property>
        <property>
                <name>fs.defaultFSname>
                <value>hdfs://localhost:9000value>
        property>
configuration>

2.2.2、hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replicationname>
                <value>1value>
        property>
        <property>
                <name>dfs.namenode.name.dirname>
                <value>file:/usr/local/hadoop/tmp/dfs/namevalue>
        property>
        <property>
                <name>dfs.datanode.data.dirname>
                <value>file:/usr/local/hadoop/tmp/dfs/datavalue>
        property>
configuration>

2.3、hbase

2.3.1、hbase-env.sh

export HBASE_MANAGES_ZK=true
export JAVA_HOME=/usr/local/jdk1.8

2.3.2、hbase-site.xml

<configuration>
    <property>
        <name>hbase.wal.dirname>
        <value>file:///tmp/wal.dirvalue>
    property>
    <property>
        <name>hbase.cluster.distributedname>
        <value>truevalue>
    property>
    <property>
        <name>hbase.rootdirname>
        <value>hdfs://localhost:9000/hbasevalue>
    property>
    <property>
        <name>hbase.unsafe.stream.capability.enforcename>
        <value>falsevalue>
    property>
configuration>

2.4、spark

2.4.1、spark-env.sh

# The below line added by myself.
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

# To test the WARN
LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

# To test the WARN
SPARK_LOCAL_IP="192.168.11.136"

2.4.2、sbt 打包声明文件

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"
libraryDependencies += "org.apache.hbase" % "hbase-client" % "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-common" % "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-server" % "1.1.5"

2.5、sbt

安装 sbt 至少需要以下文件：

1、<安装路径>/sbt-launch.jar	# 启动 jar 包
2、<安装路径>/sbt	# 启动脚本
3、~/.sbt/repositories	#（可选，镜像站加速）

2.5.1、新建 sbt 文件

1. /usr/local/sbt目录下新建下面文件 sbt，
   并将 /usr/local/sbt/bin/ 目录下的 sbt-launch.jar 拷贝到上一级路径下。

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

2. 在/conf/sbtconfig.txt文件中添加如下内容：

-Dsbt.override.build.repos=true

2.5.2、配置 sbt 国内镜像源（可选）

在 ~/.sbt 路径下新建 repositories 文件,
如配置华为云镜像则写入以下内容。

[repositories]
  local
  huaweicloud-ivy: https://mirrors.huaweicloud.com/repository/ivy/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  huaweicloud-maven: https://mirrors.huaweicloud.com/repository/maven/

三、Enjoy！