OpenTSDB TroubleShooting

1. OpenTSDB compactions 触发很大的.tmp文件 和 RegionServer crash.

在默认的情况下，TSD会缓存一个metric在一个小时内的数据，然后组合数据一次性刷写到HBase。 如果时间戳使用的ms级别，那么一次性刷写会导致巨大量的流量到HBase， 数量庞大的qualifier和rowkey会达达超过hfile.index.block.max.size形成大量.tmp文件，并且一次性写入大量数据可能会冲垮RS。

2. 在RS发生Region Split或者Region Migration时，TSD 反应延迟很大

因为region split或者migration的时候，region不可用，那么TSD的asyncHBaseClient会缓存请求RPC到内存，等到Region可用的时候，region会承受缓存的大量的RPC请求，这个会导致response变慢；如果多个region挂掉时，TSD缓存的太多的RPC请求，内存压力大会导致GC问题，反应变慢。
如果有这种情况发生，增大内存 或者 降低hbase.nsre.high_watermark数值。

3. TSD stuck in GC & crash due to OOM

几种情况：
* 见上述2
* 写TSD ops太高：尝试关闭tsd compaction
* 大查询：查询太多time series或者有long range scan. 此时 尽量分批查询。