hbase 1.3.2 源码 IDEA编译执行
博客整体目录：
一、版本信息及环境准备
二、编译步骤
三、源码阅读，基本条件配备
四、遇到的一些问题记录
博客相对涉及的插件，下载的github地址（本人github）
https://github.com/tianhuage1997/HBase-source
本人自己编译好后，编译的hbase1.3.2的源码，能跑起来，不过xml文件配置，可以看我博文，哪里要修改
https://github.com/tianhuage1997/hbase-1.3.2
前言：
最近一直在研究hbase源码，一直心心念念要把hbase源码在idea上面跑起来。方便自己调试查看，而且好好研究里面的测试用例，因为一直只是看hbasefsck这块源码，以及创建表等等。想再具体执行。
期间编译源码，遇到不少坑。时间关系，不能一一阐述。
总结性说几句：
- 大数据的组件源码，maven或者构建项目的骨架软件版本非常重要。尽量选择版本旧，稳定版的。别用最新。本人亲测，从maven 3.0.5-3.6.4，一些版本出来的错误，简直烦恼死人。
- 编译如果需要linux环境，尽量选择原生的linux环境，cgywin等等这些。还是不如原生linux好。相对坑比较少。
- 编译执行的时候，要注意一些配置文件。适当修改项目，保证读取到，能正常执行。
----------------------------一、版本信息及环境准备 --分割线开始---------------------------------------------------
编译版本：apache-hbase-1.3.2。
编译版本及软件环境(apache-hbase-1.3.2)：
本身自己工作看得是1.3.1.奈何有一个问题。详情查看如下链接
https://issues.apache.org/jira/browse/HBASE-19188
大意就是maven3.5.2以上会有问题。其实我试了3.0.5.也不能一次成功，也搞了2次。
hbase 1.3.2的下载地址
https://archive.apache.org/dist/hbase/1.3.2/
1、maven 3.3.9
2、centos 6.5 64位
3、IDEA 2018.2版本
4、jdk1.8版本
5、apache-hbase-1.3.2
环境准备步骤：
1、在linux部署好maven环境变量。
mvn -version
2、配置好maven镜像。这里首推maven的mvn网站
https://mvnrepository.com/
基本都有。最好挂代理。我是挂载香港代理。
一些实在没有的jar。找到了jar。可以手动添加进去仓库。命令如下：
下面以手动添加oracle的jar为例子，因为版权问题，很多仓库没有
mvn install:install-file -Dfile=ojdbc8.jar -DgroupId=com.oracle -DartifactId=ojdbc8 -Dversion=12.2.0.1 -Dpackaging=jar
3、IDEA设置好构建的选项，
因为很多官方源码，在pom做了maven仓库指定。就算配置maven，在编译下载jar的时候，会冲掉你maven的配置。如下图，注意红色位置
4、maven的设置
maven我的仓库设置，是阿里云作为主仓库，第二仓库选择apache的官方仓库。方便下载，下面把我maven的setting配置贴出来。
<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
<!-- Maven配置profiles同时使用多个镜像仓库-鹞之神乐 https://www.kagura.me/dev/20181005145043.html -->
<!--注意：mirrorOf千万别为*，建议为profile的id-->
<mirrors>
<mirror>
<id>aliyun-nexus</id>
<name>aliyun-nexus</name>
<mirrorOf>aliyun</mirrorOf>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
<mirror>
<id>cloudera-repo</id>
<name>cloudera-repo</name>
<mirrorOf>cloudera</mirrorOf>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</mirror>
<mirror>
<id>repo1-maven2</id>
<name>repo1-maven2</name>
<mirrorOf>repo1</mirrorOf>
<url>https://repo1.maven.org/maven2/</url>
</mirror>
</mirrors>
<profiles>
<profile>
<id>aliyun</id>
<repositories>
<repository>
<id>aliyun-nexus</id>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>aliyun-nexus</id>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
<profile>
<id>cloudera</id>
<repositories>
<repository>
<id>cloudera-repo</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>cloudera-repo</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
<profile>
<id>repo1</id>
<repositories>
<repository>
<id>repo1-maven2</id>
<url>https://repo1.maven.org/maven2/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>repo1-maven2</id>
<url>https://repo1.maven.org/maven2/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
<profile>
<id>jdk1.8</id>
<activation>
<activeByDefault>true</activeByDefault>
<jdk>1.8</jdk>
</activation>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
</properties>
</profile>
</profiles>
<!--设置默认配置文件-->
<activeProfiles>
<activeProfile>aliyun</activeProfile>
</activeProfiles>
</settings>
-----------------------------一、版本信息及环境准备–分割线结束---------------------------------------------------
二、编译步骤：
1、在linux下，解压源码，解压和 编译命令如下，编译命令是遵照官方文档的指示来做
tar -zxvf hbase-1.3.2-src.tar.gz
mvn clean compile package -DskipTests
最好挂载代理，阿里云很多jar没有。警告可以忽略，只要不是error级别。如果失败，注意一下maven仓库，是不是一些jar下载出错。
2、从linux拷贝编译后的源码，导入进去IDEA
其中有个jar问题。如下图
出错，这个不影响后期hbase的源码执行。它是测试类。后期我文章完成这个测试类问题，再更新。
就可以执行，但是没有日志问题。
根据截图，去hbase 1.3.2的conf目录拷贝log4j配置文件，拷贝到habse-server的resources。
需要注意把 hbase-server 这个模块增加一个resources 的文件夹再增加一个log4j.properties 并把 resources 文件夹设置为 资源
3、修改hbase-default.xml文件。在hbase-common项目的resources里面
修改如下参数，设置为自己windows下面的路径，比如D：//resouce/hbase-1.3.2/data,具体命名，自己随意。
<property >
<name>hbase.rootdir</name>
<value>${
hbase.tmp.dir}/hbase（自己电脑文件夹）</value>
</property>
<property >
<name>hbase.tmp.dir</name>
<value>${
java.io.tmpdir}/hbase-${
user.name}（自己电脑文件夹）</value>
</property>
<property >
<name>hbase.zookeeper.quorum</name>
<value>localhost或者127.0.0.1</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>D:\resource\hbase\zookeeper（自己电脑文件夹）</value>
</property>
<property >
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
当然，还有一些参数。不过这几个比较关键。其他你们自行摸索。
4、 最后，执行Hmaster方法。 hbase源码执行成功。
窗口输入
localhost:16010就可以。
最后，这个只是跑起来。可是源码里面还有一些测试类，无法完全跑起来。请看第四点，如何构造完整的源码阅读环境
三、源码阅读，基本条件的配备
此次是源码阅读的进阶
为什么源码跑起来还需要配置hadoop环境。这里涉及到hbase源码，有一个非常有意思的类
HBaseTestingUtility
这里重要事情说三次。注意注意注意
因为，测试hbase的功能,不一定非要启动hbase集群,可以用HBaseTestingUtility在本地进行hbase的部分功能调试 。里面封装了小型的zk集群，还有hadoop的组件调用。
为了表达一下为什么测试类在源码里面如此重要。下面我举一下例子：
1、hbase的不同场景问题，故障模拟以及重现
以下是hbase-server项目下的test类
里面就模拟了hbase的meta表，如果被删除，出现了zk，hbase的meta，hdfs不匹配的一致性问题，如何去修复。里面就是会用到HBaseTestingUtility测试类。
基于hbase依赖的hadoop，编译对应的windows 32/64位插件
其中，这里引用一个博主的hadoop编译教程，这个博主条理清晰，可以基于这里去做编译
Windows 源码编译Hadoop 2.7.4生成X64
https://blog.csdn.net/weixin_39158271/article/details/78722648
官方下载此次对应的hadoop2.5.1版本hadoop包。
由于我发现hadoop2.7.1也可以适用hbase1.3.2的源码执行，所以，我下面采用hadoop 2. 7.1的windows 64。具体文件在github上
https://github.com/tianhuage1997/HBase-source
1、解压对应的hadoop安装包在电脑对应目录
2、将得到的winutils.exe文件，放在对应的bin目录下
3、对windows的环境变量进行设置
分别新建HADOOP_HOME目录，以及新增PATH里面的信息，详情看截图
然后重启电脑，环境变量生效。（有些电脑不需要）
配置完成后，cmd窗口，输入如下命令检查环境
hadoop version
最后，可以随便找个基于hbase的功能性测试，集群测试的类看看是否生效
我这里找对应的类例子
D:\resource\hbase-1.3.2\hbase-server\src\test\
java\org\apache\hadoop\hbase\util\hbck\TestOfflineMetaRebuildBase.java
执行完成
四、遇到的一些问题记录
1、在IDEA，如下类异常。因为IDEA默认不支持单个文件2.5M的java文件
读者反映在hbase-1.3.2\hbase-client\src\test\java\org\apache\hadoop\hbase\client\TestSnapshotFromAdmin.java里面，代码虽然能执行，但是IDEA显示红色问题
这个问题是因为IDEA不支持2.5MB以上的单个java。因为IDEA会默认认为超过单文件容量2.5MB的文件不是java文件，会不检查
解决办法如下：
打开idea的help->edit custom properties
创建一个idea.properties,追加：idea.max.intellisense.filesize=9999
然后重启idea即可，如下，问题解决。
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (generate) on project hbase-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\idea_workspace\hbase-1.3.6\hbase-common"): CreateProcess error=2, 系统找不到指定的文件。 -> [Help 1]
[ERROR]
[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (run-createArchetypes-script) on project hbase-archetype-builder: Command execution failed. Process exited with an error: 1 (Exit value: 1) -> [Help 1]
下次更新hbase-shell窗口的执行。文章还是很多没涉及，时间问题。有空再写。但是hmaster已经可以。先用api执行对应功能，跑用例。源码阅读环境已经具备。 等完整的全部解决，我博客再更新。后期会写一些hbase的源码文章
最后，附上之前踩坑遇到一些问题代码。基本都是兼容性问题，环境问题太多了。所以文章的很多篇幅在说环境等等。