滴滴工程师HBasecon2017参会感受

       在国内参加过大大小小的大数据会议，最近几年的感受是hadoop离线的议题慢慢转换成spark、实时计算等的议题。中间偶尔会出现几篇HBase的Topic，但总的来说HBase在国内的影响力确实还是不够。目前来看来主要的来自大厂的使用方包括阿里、小米两家公司通过自家业务的实践，并不断迭代自己的版本，为开源社区贡献Path(这里特别提一下小米的Issues已经达到180+的数量，都是多年积累下来的，但是也不得不说公司应该给到他们足够的自由度深度参与社区patch的贡献)；另外一家的阿里(实力很强)可能因为某些众所周知的原因从2013年起在社区的声音就弱了很多，不过现在也通过阿里云封装了云HBase服务对外发声。

      到国外来看，整体的感觉确实不一样。国外大型公司Google用的BigTable，Facebook以前是HBase重度用户，最近看来似乎对HBase使用变少一些。不过其他的一些新型独角兽公司、创业公司。包括一些相对较传统一些的产业转型过来的公司都在使用、并且贡献给HBase社区一些improve和自身的经验分享。

      一年一届的hbasecon就是hbase业界当前进展情况的一面镜子，以下是对21个演讲ppt的概括介绍和分析。

ppt概要：

1、传统application，数据库事务                    服务提供商CASK(大数据类应用解决方案)
2、多租户环境下稳定性，传统手段                     服务提供商Hubspot(CRM,市场,销售)
3、高并发压力下的一致性，累加类应用(Counter)                  Quanta内部应用(社交类)
4、集群升级，thrift replication，AsyncHBase客户端  Pinterst内部应用(云存储，带社交)
5、集群升级，replication优化，GC优化，集群间一致性，逻辑错误，AsyncHBase客户端  小米内部应用(云存储，其他一些应用)
6、多租户环境Region隔离、DataNode隔离               雅虎(社区主力贡献方)
7、通过spark使HBase具备高于phoenix的OLAP分析能力     大数据服务提供商(Hortonworks)
8、HBase客户端Go语言支持                           新型创业SDN公司，网络公司(Arista Networks)
9、内存compaction，降低对磁盘依赖，让HBase更依赖大内存 雅虎(社区主力贡献方)
10、金融报表、反欺诈数据分析                         新型创业金融公司(ripple)
11、致力于HBase来统一Batch任务和streaming任务的数据流 共享经济类住房电商公司(Aribnb)
12、自动化部署、用户易用性(开发界面、sql交互台)        云应用服务商，提供数据库、计算等服务(Splice)
13、多租户隔离、平台服务化易用性提升、地理位置信息应用等           共享出行公司(滴滴)
14、通过Phoenix简化hbase使用，二级索引、丰富支持、结构化数据、翻页查询等  金融信息类提供商(彭博社)
15、Beam访问HBaseAPI 读负载动态切分避免慢worker     云计算提供商(Google)
16、极端高可用场景备份、监控                        反欺诈服务提供商(sift science)
17、时序数据库管理系统                             lot物联网后端数据方案整体服务提供商
18、更广泛用户、服务推广。quota、安全、隔离等         大数据服务提供商(Hortonworks)
19、图数据库的使用JanusGraph(Titan二代)            IBM(基础技术研究)
20、Phoenix在公司内大规模应用                      CRM软件服务提供商(Salesforce)
21、时序数据库的持续演进OPENTSDB compact策略、async客户端、Append  雅虎(社区主力贡献方)

这里的Topic来源公司主要分为4类

1、Yahoo，传统社区重要支持者。重大feature的稳定贡献来源，今年带来了多租户FN、opentsdb改进、inmemoryCompaction等社区最前沿feature

2、Hortonworks为代表，云服务、基础软件提供商。面向很多传统客户且需要服务一直可用。主攻两个方向——1、功能增强：数据库事务、sql 、二级索引、spark olap、翻页、查询界面等易用性；  2、集群高可用：自动化部署、监控、隔离等

3、独角兽公司——更多是公司内部使用强调针对特定公司场景优化，集群无缝升级版本(是个趋势)，replication需求较多；其次就是基于公司场景的优化(G1GC)以及和实时、离线等完美结合使用(Aribnb)。滴滴在这里面还处在用户爆发增长阶段，更多强调稳定性RegionGroup、以及业务特点的数据方案支持GeoHash。时序数据库、count系统

4、创业型公司——更多是使用上的一些技巧、多语言客户端Go、高并发一致性、数据分析等。数据量不大目前基本够用

无论如何Yahoo都是一家在技术上值得被尊敬的公司，不断推进社区的前沿性研究；Hortonworks等云计算厂商更多从用户需求角度出发、从云角度出发去满足用户的基本需求；独角兽公司通过业务来证明hbase的可用性以及反馈各种实践过程中的优化；创业公司也在尽自己努力去使用和回馈一些使用感受和优化点。整个的生态系统需要以上4类公司的共同推动

我们公司虽然处在第三阵营，也在GPS地理位置服务方面做了不少工作。不过为了在内部吸引更多忠实的客户做了大量的平台服务化方面、资源隔离稳定性方面的工作，有点类似公司内部云的雏形；同时对于hbase内核级别的优化和调整方面也在进行中，业务锻炼团队，我们还在路上。

附上hbasecon2017的ppt地址，需要：https://www.slideshare.net/search/slideshow?ft=all&lang=en&page=1&q=hbasecon2017&qid=5956b5f9-1832-4ef2-93a8-3d663e0060b9&searchfrom=header&sort=&ud=any

与所有HBaseer共勉！加油！