【hadoop】hadoop3.2.0应用环境搭建与使用指南

下面列出我搭建hadoop应用环境的文章整理在一起，不定期更新，供大家参考，互相学习！！！

第一篇 HADOOP部分

1.1 hadoop3.2.0的安装并测试

1.2 编译Hadoop连接eclipse的插件遇见的一系列错误，崩溃的操作 

1.3 在eclipse上运行WordCount的操作过程

第二篇 HIVE与HBASE部分

2.1 centos7下mysql的安装以及基本操作

2.2 centos7下apache-hive-3.1.2-bin的安装测试

2.3 apache-zookeeper-3.5.5的安装测试

2.4 hbase-2.2.1配置独立的zookeeper的安装与测试

第三篇 SQOOP与ZOOKEEPER部分

3.1 安装配置测试sqoop1

3.2 安装部署kafka集群（kafka版本：kafka_2.12-2.3.0）

第四篇 SPARK与SCALA部分

4.1 scala安装测试

4.2 spark-2.4.4的安装与测试

4.3 scala&sbt+idea安装配置与测试

4.4 scala&sbt+idea+spark使用过程中问题汇总（不定期更新）

4.5 spark应用（分布式估算圆周率+基于Spark MLlib的贷款风险预测）

脚本：

0.1 linux中编写脚本批量启动zookeeper

0.2 一键启动kafka脚本

命令 ：

Hadoop:
启动：sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
停止：stop-all.sh
启功历史服务器：sbin/mr-jobhistory-daemon.sh start jobhistoryserver
MySQL：
启动：service mysqld start
停止：service mysqld stop
状态：service mysqld status
Spark：
启动：sbin/start-all.sh
停止：stop-all.sh
idea：
启动：bin/idea.s

 文件分享：

链接：https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
提取码：amdl