Hive metastore整体代码分析及详解

      配置：我们的hive server2 目前配置有2个节点，每个节点上都有metastore和hiveeserver2 服务。 这就几天在排查hivemetastore 告警问题，由于hivemetastore 采用的是thrift 结构，对thrift 进行了了解，而本告警日志中timed out wait request for id 11202249. Server Stacktrace: java.util.concurrent.TimeoutException 这样错误，因此猜测可能是thrift的time继续排查，hive metastore 有hive.metastore.client.socket.timeout 这个参数，估计由于是凌晨负载高峰期导致，估计应该是这个参数太小导致的，由于是随机的，很难进行测试'。另外在处理过程中，我们有2台独立的metastore,但是发现第一台日志很多，而另外一台很少几乎没有日志，于是猜测好像2台hivesever2 都连接到第一台metastore 上，自己只是猜测，总想找到证据。由于这两个问题，自己找了一些资料，了解hive 一些源码，最好终于在这篇帖子的源码找到答案。cdh 版版本与开源的有些差别，Hive配置文件时自动生成的，默认会将hive metasore 的所有的节点自动增加到hive-site.xml 中hive.metastore.uris 参数中，hiveserver2 会将这个配置文件作为参数文件加载启动。在下面的HiveMetaStoreClient和open()方法找到了答案 。另外感觉网上朋友提供的详细资料。　

从上一篇对Hive metastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。那么我们先打开metadata的目录，其目录结构：

　　可以看到，整个hivemeta的目录包含metastore(客户端与服务端调用逻辑）、events（事件目录包含table生命周期中的检查、权限认证等listener实现）、hooks（这里的hooks仅包含了jdo connection的相关接口）、parser（对于表达树的解析）、spec（partition的相关代理类）、tools（jdo execute相关方法）及txn及model，下来我们从整个metadata分逐一进行代码分析及注释：

　　没有把包打开，很多类？是不是感觉害怕很想死？我也想死，咱们继续。。一开始，我们可能觉得一团乱麻烦躁，这是啥玩意儿啊这。。冷静下来，我们从Hive这个大类开始看，因为它是metastore元数据调用的入口。整个生命周期分析流程为： HiveMetaStoreClient客户端的创建及加载、HiveMetaStore服务端的创建及加载、createTable、dropTable、AlterTable、createPartition、dropPartition、alterPartition。当然，这只是完整metadata的一小部分。

　　1、HiveMetaStoreClient客户端的创建及加载

　　那么我们从Hive这个类一点点开始看：

1. private HiveConf conf = null;
2. private IMetaStoreClient metaStoreClient;
3. private UserGroupInformation owner;
4.  
5. // metastore calls timing information
6. private final Map metaCallTimeMap = new HashMap();
7.  
8. private static ThreadLocal hiveDB = new ThreadLocal() {
9. @Override
10. protected synchronized Hive initialValue() {
11. return null;
12. }
13.  
14. @Override
15. public synchronized void remove() {
16. if (this.get() != null) {
17. this.get().close();
18. }
19. super.remove();
20. }
21. };

　　这里声明的有hiveConf对象、metaStoreClient 、操作用户组userGroupInfomation以及调用时间Map，这里存成一个map，用来记录每一个动作的运行时长。同时维护了一个本地线程hiveDB,如果db为空的情况下，会重新创建一个Hive对象，代码如下：

1. public static Hive get(HiveConf c, boolean needsRefresh) throws HiveException {
2. Hive db = hiveDB.get();
3. if (db == null || needsRefresh || !db.isCurrentUserOwner()) {
4. if (db != null) {
5. LOG.debug("Creating new db. db = " + db + ", needsRefresh = " + needsRefresh +
6. ", db.isCurrentUserOwner = " + db.isCurrentUserOwner());
7. }
8. closeCurrent();
9. c.set("fs.scheme.class", "dfs");
10. Hive newdb = new Hive(c);
11. hiveDB.set(newdb);
12. return newdb;
13. }
14. db.conf = c;
15. return db;
16. }

　　随后我们会发现，在创建Hive对象时，便已经将function进行注册，什么是function呢，通过上次的表结构分析，可以理解为所有udf等jar包的元数据存储。代码如下：

1. // register all permanent functions. need improvement
2. static {
3. try {
4. reloadFunctions();
5. } catch (Exception e) {
6. LOG.warn("Failed to access metastore. This class should not accessed in runtime.",e);
7. }
8. }
9.  
10. public static void reloadFunctions() throws HiveException {
    　　　　//获取 Hive对象，用于后续方法的调用
11. Hive db = Hive.get();
    　　　　//通过遍历每一个dbName
12. for (String dbName : db.getAllDatabases()) {
    　　　　　 //通过dbName查询挂在该db下的所有function的信息。
13. for (String functionName : db.getFunctions(dbName, "*")) {
14. Function function = db.getFunction(dbName, functionName);
15. try {
    　　　　　//这里的register便是将查询到的function的数据注册到Registry类中的一个Map中，以便计算引擎在调用时，不必再次查询数据库。
16. FunctionRegistry.registerPermanentFunction(
17. FunctionUtils.qualifyFunctionName(functionName, dbName), function.getClassName(),
18. false, FunctionTask.toFunctionResource(function.getResourceUris()));
19. } catch (Exception e) {
20. LOG.warn("Failed to register persistent function " +
21. functionName + ":" + function.getClassName() + ". Ignore and continue.");
22. }
23. }
24. }
25. }

　　调用getMSC()方法，进行metadataClient客户端的创建，代码如下：

1. 1 private IMetaStoreClient createMetaStoreClient() throws MetaException {
2. 2 　　
3. 　　　　//这里实现接口HiveMetaHookLoader
4. 3 HiveMetaHookLoader hookLoader = new HiveMetaHookLoader() {
5. 4 @Override
6. 5 public HiveMetaHook getHook(
7. 6 org.apache.hadoop.hive.metastore.api.Table tbl)
8. 7 throws MetaException {
9. 8
10. 9 try {
11. 10 if (tbl == null) {
12. 11 return null;
13. 12 }
14. 　　　　　　　　　//根据tble的kv属性加载不同storage的实例，比如hbase、redis等等拓展存储，作为外部表进行存储
15. 13 HiveStorageHandler storageHandler =
16. 14 HiveUtils.getStorageHandler(conf,
17. 15 tbl.getParameters().get(META_TABLE_STORAGE));
18. 16 if (storageHandler == null) {
19. 17 return null;
20. 18 }
21. 19 return storageHandler.getMetaHook();
22. 20 } catch (HiveException ex) {
23. 21 LOG.error(StringUtils.stringifyException(ex));
24. 22 throw new MetaException(
25. 23 "Failed to load storage handler: " + ex.getMessage());
26. 24 }
27. 25 }
28. 26 };
29. 27 return RetryingMetaStoreClient.getProxy(conf, hookLoader, metaCallTimeMap,
30. 28 SessionHiveMetaStoreClient.class.getName());
31. 29 }

　　2、HiveMetaStore服务端的创建及加载

　　在HiveMetaStoreClient初始化时，会初始化HiveMetaStore客户端，代码如下：

1. public HiveMetaStoreClient(HiveConf conf, HiveMetaHookLoader hookLoader)
2. throws MetaException {
3.  
4. this.hookLoader = hookLoader;
5. if (conf == null) {
6. conf = new HiveConf(HiveMetaStoreClient.class);
7. }
8. this.conf = conf;
9. filterHook = loadFilterHooks();
10. 　　 //根据hive-site.xml中的hive.metastore.uris配置，如果配置该参数，则认为是远程连接，否则为本地连接
11. String msUri = conf.getVar(HiveConf.ConfVars.METASTOREURIS);
12. localMetaStore = HiveConfUtil.isEmbeddedMetaStore(msUri);
13. if (localMetaStore) {
14. 　　　　　 //本地连接直接连接HiveMetaStore
15. client = HiveMetaStore.newRetryingHMSHandler("hive client", conf, true);
16. isConnected = true;
17. snapshotActiveConf();
18. return;
19. }
20.  
21. //获取配置中的重试次数及timeout时间
22. retries = HiveConf.getIntVar(conf, HiveConf.ConfVars.METASTORETHRIFTCONNECTIONRETRIES);
23. retryDelaySeconds = conf.getTimeVar(
24. ConfVars.METASTORE_CLIENT_CONNECT_RETRY_DELAY, TimeUnit.SECONDS);
25.  
26. //拼接metastore uri
27. if (conf.getVar(HiveConf.ConfVars.METASTOREURIS) != null) {
28. String metastoreUrisString[] = conf.getVar(
29. HiveConf.ConfVars.METASTOREURIS).split(",");
30. metastoreUris = new URI[metastoreUrisString.length];
31. try {
32. int i = 0;
33. for (String s : metastoreUrisString) {
34. URI tmpUri = new URI(s);
35. if (tmpUri.getScheme() == null) {
36. throw new IllegalArgumentException("URI: " + s
37. + " does not have a scheme");
38. }
39. metastoreUris[i++] = tmpUri;
40.  
41. }
42. } catch (IllegalArgumentException e) {
43. throw (e);
44. } catch (Exception e) {
45. MetaStoreUtils.logAndThrowMetaException(e);
46. }
47. } else {
48. LOG.error("NOT getting uris from conf");
49. throw new MetaException("MetaStoreURIs not found in conf file");
50. }
51. 调用open方法创建连接
52. open();
53. }

　　从上面代码中可以看出，如果我们是远程连接，需要配置hive-site.xml中的hive.metastore.uri，是不是很熟悉？加入你的client与server不在同一台机器，就需要配置进行远程连接。那么我们继续往下面看，创建连接的open方法：

1. private void open() throws MetaException {
2. isConnected = false;
3. TTransportException tte = null;
   　　　　　//是否使用Sasl
4. boolean useSasl = conf.getBoolVar(ConfVars.METASTORE_USE_THRIFT_SASL);
   　　　　 //If true, the metastore Thrift interface will use TFramedTransport. When false (default) a standard TTransport is used.
5. boolean useFramedTransport = conf.getBoolVar(ConfVars.METASTORE_USE_THRIFT_FRAMED_TRANSPORT);
   　　　　 //If true, the metastore Thrift interface will use TCompactProtocol. When false (default) TBinaryProtocol will be used 具体他们之间的区别我们后续再讨论
6. boolean useCompactProtocol = conf.getBoolVar(ConfVars.METASTORE_USE_THRIFT_COMPACT_PROTOCOL);
   　　　　 //获取socket timeout时间
7. int clientSocketTimeout = (int) conf.getTimeVar(
8. ConfVars.METASTORE_CLIENT_SOCKET_TIMEOUT, TimeUnit.MILLISECONDS);
9.  
10. for (int attempt = 0; !isConnected && attempt < retries; ++attempt) {
11. for (URI store : metastoreUris) {
12. LOG.info("Trying to connect to metastore with URI " + store);
13. try {
14. transport = new TSocket(store.getHost(), store.getPort(), clientSocketTimeout);
15. if (useSasl) {
16. // Wrap thrift connection with SASL for secure connection.
17. try {
    　　　　　　　　　　 //创建HadoopThriftAuthBridge client
18. HadoopThriftAuthBridge.Client authBridge =
19. ShimLoader.getHadoopThriftAuthBridge().createClient();
20. 　　　　　　　　 //权限认证相关
21. // check if we should use delegation tokens to authenticate
22. // the call below gets hold of the tokens if they are set up by hadoop
23. // this should happen on the map/reduce tasks if the client added the
24. // tokens into hadoop's credential store in the front end during job
25. // submission.
26. String tokenSig = conf.get("hive.metastore.token.signature");
27. // tokenSig could be null
28. tokenStrForm = Utils.getTokenStrForm(tokenSig);
29. if(tokenStrForm != null) {
30. // authenticate using delegation tokens via the "DIGEST" mechanism
31. transport = authBridge.createClientTransport(null, store.getHost(),
32. "DIGEST", tokenStrForm, transport,
33. MetaStoreUtils.getMetaStoreSaslProperties(conf));
34. } else {
35. String principalConfig =
36. conf.getVar(HiveConf.ConfVars.METASTORE_KERBEROS_PRINCIPAL);
37. transport = authBridge.createClientTransport(
38. principalConfig, store.getHost(), "KERBEROS", null,
39. transport, MetaStoreUtils.getMetaStoreSaslProperties(conf));
40. }
41. } catch (IOException ioe) {
42. LOG.error("Couldn't create client transport", ioe);
43. throw new MetaException(ioe.toString());
44. }
45. } else if (useFramedTransport) {
46. transport = new TFramedTransport(transport);
47. }
48. final TProtocol protocol;
    　　　　　　　　 //后续详细说明两者的区别（因为俺还没看，哈哈）
49. if (useCompactProtocol) {
50. protocol = new TCompactProtocol(transport);
51. } else {
52. protocol = new TBinaryProtocol(transport);
53. }
    　　　　　　　　 //创建ThriftHiveMetastore client
54. client = new ThriftHiveMetastore.Client(protocol);
55. try {
56. transport.open();
57. isConnected = true;
58. } catch (TTransportException e) {
59. tte = e;
60. if (LOG.isDebugEnabled()) {
61. LOG.warn("Failed to connect to the MetaStore Server...", e);
62. } else {
63. // Don't print full exception trace if DEBUG is not on.
64. LOG.warn("Failed to connect to the MetaStore Server...");
65. }
66. }
67. 　　　　　　//用户组及用户的加载
68. if (isConnected && !useSasl && conf.getBoolVar(ConfVars.METASTORE_EXECUTE_SET_UGI)){
69. // Call set_ugi, only in unsecure mode.
70. try {
71. UserGroupInformation ugi = Utils.getUGI();
72. client.set_ugi(ugi.getUserName(), Arrays.asList(ugi.getGroupNames()));
73. } catch (LoginException e) {
74. LOG.warn("Failed to do login. set_ugi() is not successful, " +
75. "Continuing without it.", e);
76. } catch (IOException e) {
77. LOG.warn("Failed to find ugi of client set_ugi() is not successful, " +
78. "Continuing without it.", e);
79. } catch (TException e) {
80. LOG.warn("set_ugi() not successful, Likely cause: new client talking to old server. "
81. + "Continuing without it.", e);
82. }
83. }
84. } catch (MetaException e) {
85. LOG.error("Unable to connect to metastore with URI " + store
86. + " in attempt " + attempt, e);
87. }
88. if (isConnected) {
89. break;
90. }
91. }
92. // Wait before launching the next round of connection retries.
93. if (!isConnected && retryDelaySeconds > 0) {
94. try {
95. LOG.info("Waiting " + retryDelaySeconds + " seconds before next connection attempt.");
96. Thread.sleep(retryDelaySeconds * 1000);
97. } catch (InterruptedException ignore) {}
98. }
99. }
100.  
101. if (!isConnected) {
102. throw new MetaException("Could not connect to meta store using any of the URIs provided." +
103. " Most recent failure: " + StringUtils.stringifyException(tte));
104. }
105.  
106. snapshotActiveConf();
107.  
108. LOG.info("Connected to metastore.");
109. }

　　本篇先对对protocol的原理放置一边。从代码中可以看出HiveMetaStore服务端是通过ThriftHiveMetaStore创建，它本是一个class类，但其中定义了接口Iface、AsyncIface，这样做的好处是利于继承实现。那么下来，我们看一下HMSHandler的初始化。如果是在本地调用的过程中，直接调用newRetryingHMSHandler，便会直接进行HMSHandler的初始化。代码如下：

1. public HMSHandler(String name, HiveConf conf, boolean init) throws MetaException {
2. super(name);
3. hiveConf = conf;
4. if (init) {
5. init();
6. }
7. }

　　下俩我们继续看它的init方法：

1. public void init() throws MetaException {
   　　　　　 //获取与数据交互的实现类className，该类为objectStore，是RawStore的实现，负责JDO与数据库的交互。
2. rawStoreClassName = hiveConf.getVar(HiveConf.ConfVars.METASTORE_RAW_STORE_IMPL);
   　　　　　 //加载Listeners，来自hive.metastore.init.hooks，可自行实现并加载
3. initListeners = MetaStoreUtils.getMetaStoreListeners(
4. MetaStoreInitListener.class, hiveConf,
5. hiveConf.getVar(HiveConf.ConfVars.METASTORE_INIT_HOOKS));
6. for (MetaStoreInitListener singleInitListener: initListeners) {
7. MetaStoreInitContext context = new MetaStoreInitContext();
8. singleInitListener.onInit(context);
9. }
10. 　　　　//初始化alter的实现类
11. String alterHandlerName = hiveConf.get("hive.metastore.alter.impl",
12. HiveAlterHandler.class.getName());
13. alterHandler = (AlterHandler) ReflectionUtils.newInstance(MetaStoreUtils.getClass(
14. alterHandlerName), hiveConf);
    　　　　　 //初始化warehouse
15. wh = new Warehouse(hiveConf);
16. 　　　　//创建默认db以及用户，同时加载currentUrl
17. synchronized (HMSHandler.class) {
18. if (currentUrl == null || !currentUrl.equals(MetaStoreInit.getConnectionURL(hiveConf))) {
19. createDefaultDB();
20. createDefaultRoles();
21. addAdminUsers();
22. currentUrl = MetaStoreInit.getConnectionURL(hiveConf);
23. }
24. }
25. 　　　　//计数信息的初始化
26. if (hiveConf.getBoolean("hive.metastore.metrics.enabled", false)) {
27. try {
28. Metrics.init();
29. } catch (Exception e) {
30. // log exception, but ignore inability to start
31. LOG.error("error in Metrics init: " + e.getClass().getName() + " "
32. + e.getMessage(), e);
33. }
34. }
35. 　　　 //Listener的PreListener的初始化
36. preListeners = MetaStoreUtils.getMetaStoreListeners(MetaStorePreEventListener.class,
37. hiveConf,
38. hiveConf.getVar(HiveConf.ConfVars.METASTORE_PRE_EVENT_LISTENERS));
39. listeners = MetaStoreUtils.getMetaStoreListeners(MetaStoreEventListener.class, hiveConf,
40. hiveConf.getVar(HiveConf.ConfVars.METASTORE_EVENT_LISTENERS));
41. listeners.add(new SessionPropertiesListener(hiveConf));
42. endFunctionListeners = MetaStoreUtils.getMetaStoreListeners(
43. MetaStoreEndFunctionListener.class, hiveConf,
44. hiveConf.getVar(HiveConf.ConfVars.METASTORE_END_FUNCTION_LISTENERS));
45. 　　　　//针对partitionName的正则校验，可自行设置，根据hive.metastore.partition.name.whitelist.pattern进行设置
46. String partitionValidationRegex =
47. hiveConf.getVar(HiveConf.ConfVars.METASTORE_PARTITION_NAME_WHITELIST_PATTERN);
48. if (partitionValidationRegex != null && !partitionValidationRegex.isEmpty()) {
49. partitionValidationPattern = Pattern.compile(partitionValidationRegex);
50. } else {
51. partitionValidationPattern = null;
52. }
53.  
54. long cleanFreq = hiveConf.getTimeVar(ConfVars.METASTORE_EVENT_CLEAN_FREQ, TimeUnit.MILLISECONDS);
55. if (cleanFreq > 0) {
56. // In default config, there is no timer.
57. Timer cleaner = new Timer("Metastore Events Cleaner Thread", true);
58. cleaner.schedule(new EventCleanerTask(this), cleanFreq, cleanFreq);
59. }
60. }

　　它初始化了与数据库交互的rawStore的实现类、物理操作的warehouse以及Event与Listener。从而通过接口调用相关meta生命周期方法进行表的操作。

　　3、createTable

　　我们从createTable方法开始。那么上代码：

1. public void createTable(String tableName, List columns, List partCols,
2. Class fileInputFormat,
3. Class fileOutputFormat, int bucketCount, List bucketCols,
4. Map parameters) throws HiveException {
5. if (columns == null) {
6. throw new HiveException("columns not specified for table " + tableName);
7. }
8.  
9. Table tbl = newTable(tableName);
   　　　　//SD表属性,设置该表的input及output class名，在计算引擎计算时，拉取相应的ClassName 通过反射进行input及output类的加载
10. tbl.setInputFormatClass(fileInputFormat.getName());
11. tbl.setOutputFormatClass(fileOutputFormat.getName());
12. 　　
    　　　　//封装FileSchema对象，该为每个column的名称及字段类型，并加入到sd对象的的column属性中
13. for (String col : columns) {
14. FieldSchema field = new FieldSchema(col, STRING_TYPE_NAME, "default");
15. tbl.getCols().add(field);
16. }
17. 
    　　　　//如果在创建表时，设置了分区信息，比如dt字段为该分区。则进行分区信息的记录，最终写入Partition表中
18. if (partCols != null) {
19. for (String partCol : partCols) {
20. FieldSchema part = new FieldSchema();
21. part.setName(partCol);
22. part.setType(STRING_TYPE_NAME); // default partition key
23. tbl.getPartCols().add(part);
24. }
25. }
    　　　　//设置序列化的方式
26. tbl.setSerializationLib(LazySimpleSerDe.class.getName());
    　　　　//设置分桶信息
27. tbl.setNumBuckets(bucketCount);
28. tbl.setBucketCols(bucketCols);
    　　　　//设置table额外添加的kv信息
29. if (parameters != null) {
30. tbl.setParamters(parameters);
31. }
32. createTable(tbl);
33. }

　　从代码中可以看到，Hive 构造了一个Table的对象，该对象可以当做是一个model，包含了几乎所有以Tbls表为主表的所有以table_id为的外键表属性（具体可参考hive metastore表结构），封装完毕后在进行createTable的调用，接下来的调用如下：

1. public void createTable(Table tbl, boolean ifNotExists) throws HiveException {
2. try {
   　　　　//这里再次获取SessionState中的CurrentDataBase进行setDbName（安全）
3. if (tbl.getDbName() == null || "".equals(tbl.getDbName().trim())) {
4. tbl.setDbName(SessionState.get().getCurrentDatabase());
5. }
   　　　　//这里主要对每一个column属性进行校验，比如是否有非法字符等等
6. if (tbl.getCols().size() == 0 || tbl.getSd().getColsSize() == 0) {
7. tbl.setFields(MetaStoreUtils.getFieldsFromDeserializer(tbl.getTableName(),
8. tbl.getDeserializer()));
9. }
   　　　 //该方法对table属性中的input、output以及column属性的校验
10. tbl.checkValidity();
11. if (tbl.getParameters() != null) {
12. tbl.getParameters().remove(hive_metastoreConstants.DDL_TIME);
13. }
14. org.apache.hadoop.hive.metastore.api.Table tTbl = tbl.getTTable();
    　　　　//这里开始进行权限认证,牵扯到的便是我们再hive中配置的 hive.security.authorization.createtable.user.grants、hive.security.authorization.createtable.group.grants、
    　　　　hive.security.authorization.createtable.role.grants配置参数，来自于hive自己封装的 用户、角色、组的概念。
15. PrincipalPrivilegeSet principalPrivs = new PrincipalPrivilegeSet();
16. SessionState ss = SessionState.get();
17. if (ss != null) {
18. CreateTableAutomaticGrant grants = ss.getCreateTableGrants();
19. if (grants != null) {
20. principalPrivs.setUserPrivileges(grants.getUserGrants());
21. principalPrivs.setGroupPrivileges(grants.getGroupGrants());
22. principalPrivs.setRolePrivileges(grants.getRoleGrants());
23. tTbl.setPrivileges(principalPrivs);
24. }
25. }
    　　　//通过客户端链接服务端进行table的创建
26. getMSC().createTable(tTbl);
27. } catch (AlreadyExistsException e) {
28. if (!ifNotExists) {
29. throw new HiveException(e);
30. }
31. } catch (Exception e) {
32. throw new HiveException(e);
33. }
34. }

　　那么下来，我们来看一下受到调用的HiveMetaClient中createTable方法，代码如下：

1. public void createTable(Table tbl, EnvironmentContext envContext) throws AlreadyExistsException,
2. InvalidObjectException, MetaException, NoSuchObjectException, TException {
   　　　　//这里获取HiveMeetaHook对象，针对不同的存储引擎进行创建前的加载及验证
3. HiveMetaHook hook = getHook(tbl);
4. if (hook != null) {
5. hook.preCreateTable(tbl);
6. }
7. boolean success = false;
8. try {
9. 　　　　　//随即调用HiveMetaStore进行服务端与数据库的创建交互
10. create_table_with_environment_context(tbl, envContext);
11. if (hook != null) {
12. hook.commitCreateTable(tbl);
13. }
14. success = true;
15. } finally {
    　　　　　　如果创建失败的话，进行回滚操作
16. if (!success && (hook != null)) {
17. hook.rollbackCreateTable(tbl);
18. }
19. }
20. }

　　这里简要说下Hook的作用，HiveMetaHook为接口，接口方法包括preCreate、rollbackCreateTable、preDropTable等等操作，它的实现为不同存储类型的预创建加载及验证，以及失败回滚等动作。代码如下：

1. public interface HiveMetaHook {
2. /**
3. * Called before a new table definition is added to the metastore
4. * during CREATE TABLE.
5. *
6. * @param table new table definition
7. */
8. public void preCreateTable(Table table)
9. throws MetaException;
10.  
11. /**
12. * Called after failure adding a new table definition to the metastore
13. * during CREATE TABLE.
14. *
15. * @param table new table definition
16. */
17. public void rollbackCreateTable(Table table)
18. throws MetaException;
19. public void preDropTale(Table table)
20. throws MetaException;
    ...............................

　　随后，我们再看一下HiveMetaStore服务端的createTable方法，如下：

1. 1  private void create_table_core(final RawStore ms, final Table tbl,
   2 final EnvironmentContext envContext)
2. throws AlreadyExistsException, MetaException,
3. InvalidObjectException, NoSuchObjectException {
4. 　　　　//名称正则校验，校验是否含有非法字符
5. if (!MetaStoreUtils.validateName(tbl.getTableName())) {
6. throw new InvalidObjectException(tbl.getTableName()
7. + " is not a valid object name");
8. }
   　　　　　　//改端代码属于校验代码，对于column的名称及column type类型j及partitionKey的名称校验
9. String validate = MetaStoreUtils.validateTblColumns(tbl.getSd().getCols());
10. if (validate != null) {
11. throw new InvalidObjectException("Invalid column " + validate);
12. }
13. if (tbl.getPartitionKeys() != null) {
14. validate = MetaStoreUtils.validateTblColumns(tbl.getPartitionKeys());
15. if (validate != null) {
16. throw new InvalidObjectException("Invalid partition column " + validate);
17. }
18. }
19. SkewedInfo skew = tbl.getSd().getSkewedInfo();
20. if (skew != null) {
21. validate = MetaStoreUtils.validateSkewedColNames(skew.getSkewedColNames());
22. if (validate != null) {
23. throw new InvalidObjectException("Invalid skew column " + validate);
24. }
25. validate = MetaStoreUtils.validateSkewedColNamesSubsetCol(
26. skew.getSkewedColNames(), tbl.getSd().getCols());
27. if (validate != null) {
28. throw new InvalidObjectException("Invalid skew column " + validate);
29. }
30. }
31.  
32. Path tblPath = null;
33. boolean success = false, madeDir = false;
34. try {
    　　　　　　　//创建前的事件调用，metastore已实现的listner事件包含DummyPreListener、AuthorizationPreEventListener、AlternateFailurePreListener以及MetaDataExportListener。
    　　　　　　　//这些Listener是干嘛的呢？详细解释由分析meta设计模式时，详细说明。
35. firePreEvent(new PreCreateTableEvent(tbl, this));
36. 
    　　　　　　 //打开事务
37. ms.openTransaction();
38. 
    　　　　　　　//如果db不存在的情况下，则抛异常
39. Database db = ms.getDatabase(tbl.getDbName());
40. if (db == null) {
41. throw new NoSuchObjectException("The database " + tbl.getDbName() + " does not exist");
42. }
43. 　　　　
44. 　// 校验该db下，table是否存在
45. if (is_table_exists(ms, tbl.getDbName(), tbl.getTableName())) {
46. throw new AlreadyExistsException("Table " + tbl.getTableName()
47. + " already exists");
48. }
49. 　　　　 // 如果该表不为视图表，则组装完整的tbleParth ->fs.getUri().getScheme()+fs.getUri().getAuthority()+path.toUri().getPath())

1. if (!TableType.VIRTUAL_VIEW.toString().equals(tbl.getTableType())) {
2. if (tbl.getSd().getLocation() == null
3. || tbl.getSd().getLocation().isEmpty()) {
4. tblPath = wh.getTablePath(
5. ms.getDatabase(tbl.getDbName()), tbl.getTableName());
6. } else {
   　　　　　　　　　　//如果该表不是内部表同时tbl的kv中storage_handler为空时，则只是警告
7. if (!isExternal(tbl) && !MetaStoreUtils.isNonNativeTable(tbl)) {
8. LOG.warn("Location: " + tbl.getSd().getLocation()
9. + " specified for non-external table:" + tbl.getTableName());
10. }
11. tblPath = wh.getDnsPath(new Path(tbl.getSd().getLocation()));
12. }
    　　　　　　　　//将拼接完的tblPath set到sd的location中
13. tbl.getSd().setLocation(tblPath.toString());
14. }
15. 　　　　　//创建table的路径
16. if (tblPath != null) {
17. if (!wh.isDir(tblPath)) {
18. if (!wh.mkdirs(tblPath, true)) {
19. throw new MetaException(tblPath
20. + " is not a directory or unable to create one");
21. }
22. madeDir = true;
23. }
24. }
    　　　　　　　// hive.stats.autogather 配置判断
25. if (HiveConf.getBoolVar(hiveConf, HiveConf.ConfVars.HIVESTATSAUTOGATHER) &&
26. !MetaStoreUtils.isView(tbl)) {
27. if (tbl.getPartitionKeysSize() == 0) { // Unpartitioned table
28. MetaStoreUtils.updateUnpartitionedTableStatsFast(db, tbl, wh, madeDir);
29. } else { // Partitioned table with no partitions.
30. MetaStoreUtils.updateUnpartitionedTableStatsFast(db, tbl, wh, true);
31. }
32. }
33.  
34. // set create time
35. long time = System.currentTimeMillis() / 1000;
36. tbl.setCreateTime((int) time);
37. if (tbl.getParameters() == null ||
38. tbl.getParameters().get(hive_metastoreConstants.DDL_TIME) == null) {
39. tbl.putToParameters(hive_metastoreConstants.DDL_TIME, Long.toString(time));
40. }
    　　　　　　　执行createTable数据库操作
41. ms.createTable(tbl);
42. success = ms.commitTransaction();
43.  
44. } finally {
45. if (!success) {
46. ms.rollbackTransaction();
    　　　　　　　　 //如果由于某些原因没有创建，则进行已创建表路径的删除
47. if (madeDir) {
48. wh.deleteDir(tblPath, true);
49. }
50. }
    　　　　　　　//进行create完成时的listener类发送 比如 noftify通知
51. for (MetaStoreEventListener listener : listeners) {
52. CreateTableEvent createTableEvent =
53. new CreateTableEvent(tbl, success, this);
54. createTableEvent.setEnvironmentContext(envContext);
55. listener.onCreateTable(createTableEvent);
56. }
57. }
58. }

　　这里的listener后续会详细说明，那么我们继续垂直往下看，这里的 ms.createTable方法。ms便是RawStore接口对象，这个接口对象包含了所有生命周期的统一方法调用，部分代码如下：

1. public abstract Database getDatabase(String name)
2. throws NoSuchObjectException;
3.  
4. public abstract boolean dropDatabase(String dbname) throws NoSuchObjectException, MetaException;
5.  
6. public abstract boolean alterDatabase(String dbname, Database db) throws NoSuchObjectException, MetaException;
7.  
8. public abstract List getDatabases(String pattern) throws MetaException;
9.  
10. public abstract List getAllDatabases() throws MetaException;
11.  
12. public abstract boolean createType(Type type);
13.  
14. public abstract Type getType(String typeName);
15.  
16. public abstract boolean dropType(String typeName);
17.  
18. public abstract void createTable(Table tbl) throws InvalidObjectException,
19. MetaException;
20.  
21. public abstract boolean dropTable(String dbName, String tableName)
22. throws MetaException, NoSuchObjectException, InvalidObjectException, InvalidInputException;
23.  
24. public abstract Table getTable(String dbName, String tableName)
25. throws MetaException;
26. 　　..................

　　那么下来我们来看一下具体怎么实现的，首先hive metastore会通过调用getMS()方法，获取本地线程中的RawStore的实现，代码如下：

1. public RawStore getMS() throws MetaException {
   　　　　　//获取本地线程中已存在的RawStore
2. RawStore ms = threadLocalMS.get();
   　　　　　//如果不存在，则创建该对象的实现，并加入到本地线程中
3. if (ms == null) {
4. ms = newRawStore();
5. ms.verifySchema();
6. threadLocalMS.set(ms);
7. ms = threadLocalMS.get();
8. }
9. return ms;
10. }
11.  

　　看到这里，是不是很想看看newRawStore它干嘛啦？那么我们继续：

1. public static RawStore getProxy(HiveConf hiveConf, Configuration conf, String rawStoreClassName,
2. int id) throws MetaException {
3. 　　//通过反射，创建baseClass，随后再进行该实现对象的创建
4. Class baseClass = (Class) MetaStoreUtils.getClass(
5. rawStoreClassName);
6.  
7. RawStoreProxy handler = new RawStoreProxy(hiveConf, conf, baseClass, id);
8.  
9. // Look for interfaces on both the class and all base classes.
10. return (RawStore) Proxy.newProxyInstance(RawStoreProxy.class.getClassLoader(),
11. getAllInterfaces(baseClass), handler);
12. }

　　那么问题来了，rawstoreClassName从哪里来呢？它是在HiveMetaStore进行初始化时加载的，来源于HiveConf中的METASTORE_RAW_STORE_IMPL，配置参数，也就是RawStore的实现类ObjectStore。好了，既然RawStore的实现类已经创建，那么我们继续深入ObjectStore,代码如下：

　　

1. @Override
2. public void createTable(Table tbl) throws InvalidObjectException, MetaException {
3. boolean commited = false;
4. try {
   　　　　 //创建事务
5. openTransaction();
   　　　　　 //这里再次进行db 、table的校验，代码不再贴出来，具体为什么又要做一次校验，还需要深入思考
6. MTable mtbl = convertToMTable(tbl);
   　　　　　这里的pm为ObjectStore创建时，init的JDO PersistenceManage对象。这里便是提交Table对象的地方，具体可研究下JDO module对象与数据库的交互
7. pm.makePersistent(mtbl);
   　　　　　//封装权限用户、角色、组对象并写入
8. PrincipalPrivilegeSet principalPrivs = tbl.getPrivileges();
9. List