hadoop用于存储网站的用户浏览轨迹数据及业务系统的用户操作日志数据，便于后期数据分析提取。由于机器有限，目前只搭建了2台机器作为hadoop集群的节点。
集群节点机器间的免密登录设置
- 设置机器名
hostname #查看机器名
hostname hserver1 #设置机器名
- 修改/etc/hosts文件
vi /etc/hosts
192.168.1.102 hserver1
192.168.1.103 hserver2
ping -c 3 hserver2 #检查是否生效
- 生成秘钥文件
执行命令，生成空字符串的秘钥(后面要使用公钥)
ssh-keygen -t rsa -P ''
由于是root 账户登录 ，所以秘钥文件保存到了/root/.ssh/目录内，可以使用命令查看，命令是：
ls /root/.ssh/
- 创建authorized_keys文件
在hserver1的/root/.ssh/目录中生成一个名为authorized_keys的文件，命令是：
touch /root/.ssh/authorized_keys
将hserver1上的/root/.ssh/id_rsa.pub文件内容，hserver2上的/root/.ssh/id_rsa.pub文件内容复制到这个authorized_keys文件中,将authorized_keys文件复制到其他机器。
另一种方式：
ssh-copy-id命令来复制公钥到要登录的节点中，效果一样
ssh-copy-id -i [email protected]
- 测试使用ssh进行无密码登录
在hserver1上进行测试
ssh hserver2
希望ssh公钥生效需满足至少下面两个条件： ssh目录的权限必须是700 ssh/authorized_keys文件权限必须是600
chmod 700 /root/.ssh
chmod 600 /root/.ssh/*
安装jdk和hadoop
1、在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.9.0.tar上载到该目录下
进入到该目录，执行命令:
cd /opt/hadoop
执行解压命令：
tar -xvf hadoop-2.9.0.tar.gz
先在hserver1上把后续的各个配置文件配置好了，然后打包传到hserver2/opt/hadoop/相同目录下
2、在/usr/local/hadoop 目录下新建几个目录 存储Hadoop 数据
mkdir /usr/local/hadoop
mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/var
mkdir /usr/local/hadoop/dfs
mkdir /usr/local/hadoop/dfs/name
mkdir /usr/local/hadoop/dfs/data
3、修改/opt/hadoop/hadoop-2.9.0/etc/hadoop目录内的一系列文件
- 修改core-site.xml,在
节点内加入配置:
hadoop.tmp.dir
/usr/local/hadoop/tmp
Abase for other temporary directories.
fs.defaultFS
hdfs://hserver1:9000
修改hadoop-env.sh 和yarn-env.sh
将export JAVA_HOME=${JAVA_HOME}
修改为： export JAVA_HOME=/root/jdk1.8.0_131 说明：修改为自己的JDK路径修改hdfs-site.xml,在
节点内加入配置
dfs.namenode.name.dir
/usr/local/hadoop/dfs/name
Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.
dfs.datanode.data.dir
/usr/local/hadoop/dfs/data
Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.
dfs.replication
2
dfs.permissions.enabled
false
need not permissions
- 新建mapred-site.xml
复制该文件 mapred-site.xml.template的文件，然后改名为mapred-site.xml
cp /opt/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml
修改这个新建的mapred-site.xml文件，在
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
hserver1:10020
mapreduce.jobhistory.webapp.address
hserver1:19888
修改slaves文件,增加数据节点
修改/opt/hadoop/hadoop-2.9.0/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：
hserver1
hserver2修改yarn-site.xml文件
在节点内加入配置
yarn.resourcemanager.hostname
hserver1
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.address
hserver1:8032
yarn.resourcemanager.scheduler.address
hserver1:8030
yarn.resourcemanager.resource-tracker.address
hserver1:8031
yarn.resourcemanager.admin.address
hserver1:8033
yarn.resourcemanager.webapp.address
hserver1:8088
4、启动hadoop
- 关闭防火墙
- namenode上执行初始化
因为hserver1是namenode，hserver1和hserver2都是datanode，所以只需要对hserver1进行初始化操作，也就是对hdfs进行格式化。
进入到hserver1这台机器的/opt/hadoop/hadoop-2.9.0/bin目录
执行初始化脚本，也就是执行命令：
hdfs namenode -format
- 在namenode上执行启动命令
因为hserver1是namenode，hserver1和hserver2都是datanode，所以只需要再hserver1上执行启动命令即可。
进入到hserver1这台机器的/opt/hadoop/hadoop-2.9.3/sbin目录
执行启动脚本，也就是执行命令：
start-all.sh
5、测试hadoop
haddoop启动了，需要测试一下hadoop是否正常。
hserver1是我们的namanode，该机器的IP是192.168.1.103，在本地电脑访问如下地址:
http://192.168.1.103:50070/ 自动跳转到了overview页面
http://192.168.1.103:8088/ 自动跳转到了cluster页面
安装hive，并配置mysql作为元数据库
1、下载并解压hive源程序
下载地址1. http://www.apache.org/dyn/closer.cgi/hive/
tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /opt # 解压到/opt中
cd /opt/
mv apache-hive-3.1.1-bin hive # 将文件夹名改为hive
chown -R hadoop:hadoop hive # 修改文件归属
2、配置环境变量
修改 /etc/profile 文件
vi /etc/profile
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/opt/hadoop/hadoop-2.9.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
最后执行命令 source /etc/profile 使其修改生效。
3、修改/opt/hive/conf下的hive-site.xml
将hive-default.xml.template重命名为hive-default.xml；
新建一个文件touch hive-site.xml，并在hive-site.xml中粘贴如下配置信息：
javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.1.99:3306/hive?createDatabaseIfNotExist=true
JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName
###
username to use against metastore database
javax.jdo.option.ConnectionPassword
###
password to use against metastore database
4、启动hive
启动hive之前，请先启动hadoop集群。
start-all.sh
输入 hive 即可使用hive
将mysql设置为hive的元数据库，执行
schematool -dbType mysql -initSchema
5、hiveserver2配置启动
- HiveServer2支持多种用户安全认证方式：NONE,NOSASL, KERBEROS, LDAP, PAM ,CUSTOM。目前还没有完全搞清楚怎么配置，就先使用NONE。
编辑Hadoop的 core-site.xml文件，在配置文件末尾加上以下内容：
hadoop.proxyuser.hadoopuser.hosts
*
hadoop.proxyuser.hadoopuser.groups
*
重启Hadoop
- 启动hiveserver2
运行 /opt/hive/bin/hiveserver2 - 使用beeline连接hiveserver2
/opt/hive/bin/beeline
!connect jdbc:hive2://192.168.1.103:10000/default;-uhive - 也可以通过浏览器 访问http:// 10.0.0.26:10002/ 查看详情
6、 hive异常分析
- schematool -dbType mysql -initSchema初始化时 报错：
Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
at [row,col,system-id]: [3231,96,"file:/opt/hive/conf/hive-site.xml"]
解决方法：
opt/hive/conf/hive-site.xml文件的第3231行有特殊字符，删掉即可
对应
删除特殊字符
- SLF4J: Class path contains multiple SLF4J bindings.
解决方法：删掉与添加的配置文件重名的配置信息
7、hive启动时报错
- Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-3.1.1.jar!/hive-log4j2.properties Async: true
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: %7Bsystem:user.name%7D
解决方法：
配置没有修改hive的临时目录
修改hive-site.xml文件的${system:java.io.tmpdir}，一共两处，改为本地的存在目录
vim /opt/hive/conf/hive-site.xml
日常运维出现的问题及解决，持续更新中...
1、使用hive的beeline连接报错hadoop is not allowed to impersonate hadoop (state=08S01,code=0)
网上找了一圈，解决方法都是
在hadoop的core-site.xml中添加如下内容
hadoop.proxyuser.hadoop.hosts
*
hadoop.proxyuser.hadoop.groups
*
我检查了原先有这个配置，搞了半天没有找到解决方法。
只能重启看看效果。
2、运行stop-all.sh 结果出现no namenode to stop
可hadoop服务正常没有关闭。
原来hadoop默认配置是将datanode,namenode,jobtracker,tasktracker,secondarynamenode的pid存放在/tmp目录下，但linux会定期清理/tmp目录，pid信息丢失导致
解决办法：
修改hadoop/etc/hadoop/hadoop-env.sh文件中的HADOOP_PID_DIR
export HADOOP_PID_DIR=/opt/hadoop/pids
修改hadoop/etc/hadoop/yarn-env.sh文件中的YARN_PID_DIR
export YARN_PID_DIR=/opt/hadoop/pids
注意：pids目录要授予读写权限:chmod 775 -R /opt/hadoop/pids
重启完hadoop后，第一个连接报错的问题居然好了。