1.安装jdk
2.安装hadoop2.9.0;
3.安装hive-2.3.3;
(一)配置JDK环境
首先是安装jdk,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html(注意一点,jdk不要选择最新版本,一般最新版本在配置Hadoop和hive时会遇到很多莫名的错误);
直接默认安装,终端输入:/usr/libexec/java_home -v 来查询JDK的安装路径。
配置环境变量:vim ~/.bash_profile
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Homeexport CLASSPATH
编辑好,esc键,:wq保存退出。
source ~/.bash_profile (刷新环境变量)
配置好JDK环境,进行安装Hadoop
(二)本文采用Hadoop-2.9.0版本
注意:Hadoop同样不要选择最新版本进行安装,容易出错。
1)下载Hadoop: http://hadoop.apache.org/releases.html
2)安装Hadoop,配置环境。
拷贝Hadoop到选择合适目录位置。
1>进入 hadoop-env.sh文件
exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home (JAVA_HOME路径,一般安装的路径就是这个,注意更换JDK版本)
export HADOOP_HEAPSIZE=2000
exportHADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
2>配置NameNode主机名与端口
进入 core-site.xml文件
3>配置HDFS的默认参数副本数
进入hdfs-site.xml文件
4>配置JobTracker主机名与端口
进入mapred-site.xml文件
注:如果mapred-site.xml文件不存在,需要自己创建(复制mapred-site.xml.template文件对后缀名进行修改)
5>进入yarn-site.xml文件
6>格式化文件系统:(注意如果不能运行,在terminal里指定bin的目录)
$ bin/hdfs namenode -format (指定其安装目录的路径)
7>启动NameNode和DataNode的守护进程。
$ sbin/start-dfs.sh
8>启动ResourceManager和NodeManager的守护进程。
$ sbin/start-yarn.sh
9>验证hadoop
打开http://localhost:50070,进入hdfs管理页面
打开http://localhost:8088,进入hadoop进程管理页面
验证Hadoop之后进行Hive安装。
(三)安装hive-2.3.3
安装hive-2.3.3之前首先需要安装mysql。
1)安装mysql,先去mySql官网http://dev.mysql.com/downloads/mysql/下载安装包
按照提示界面一路安装即可,此处注意:在安装结束时,可能会弹出对话框,告知你默认的访问数据库的用户名和密码。第一次登陆时,需要用此用户名和密码登陆,否则会出现无法登陆的问题。
1>修改用户密码:
a. 用刚才的用户名和密码登陆mysql:mysql -u 用户名 -p 密码
b.#第一条命令,修改密码
UPDATE user SET password=PASSWORD('新的密码') WHERE user='你登录的用户名';
#第二条命令,使改动立即生效
FLUSH PRIVILEGES;
2)安装hive-2.3.3
1>下载Hive安装包(同样不要下载最新安装包)
去官网https://hive.apache.org/downloads.html下载合适的安装包版本,将安装包移动至:Hadoop 目录下,此目录是本机安装hadoop的目录。 移动至此处后,解压缩,并将解压后的文件名改为hive,方便配置。
2>配置系统环境变量
vim ~/.bash_profile
export HIVE_HOME=/usr/hadoop/hadoop-2.9.0/hive(注:按自己路径修改)
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
退出保存后(esc之后 :wq),在终端输入,使环境变量立即生效:source ~/.bash_profile
3>修改Hive配置文档:
a. 进入/usr/hadoop/hadoop-2.9.0/hive/conf
,新建文件hive-site.xml
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-default.xml
cp hive-site.xml.template hive-site.xml
cp hive-log4j.properties.template hive-log4j.properties
cp hive-exec-log4j.properties.template hive-exec-log4j.properties
b. 添加hive-site.xml
内容:
hive.metastore.local
true
javax.jdo.option.ConnectionURL
jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
root
c. 修改hive-env.sh
内容:
HADOOP_HOME=/usr/hadoop/hadoop-2.9.0
export HIVE_CONF_DIR=/usr/hadoop/hadoop-2.9.0/hive/conf
4>向/usr/hadoop/hadoop-2.9.0/hive/lib
中添加mySql连接库:
a. 去网站http://dev.mysql.com/downloads/connector/j/下载mySql-connector包(选择与mysql版本一致的jar,不然出现错误)。
b. 将下好的包解压缩,如我解压缩后的文件夹为mysql-connector-java-5.1.38
,将此文件夹下mysql-connector-java-8.0.11-bin.jar
复制到/usr/hadoop/hadoop-2.9.0/hive/lib
下。
5>启动hive
1. 如果是第一次启动Hive,则需要先执行如下初始化命令:
schematool -dbType mysql -initSchema
2. 启动Hive:
hive
完成基本的环境配置!
(后续更新将安装过程中遇到的一些bug及解决方案进行编写)