使用java HBase API查询 小bug记录

java HBase API查询时代码部分如下:

         Scan scan = new Scan();
        //scan.setCaching(1);   	
        scan.setStartRow(QueryUtils.byteArray(Bytes.toBytes(indexCol),Bytes.toBytes(startRow),Bytes.toBytes(keyStartZero)));
        scan.setStopRow(QueryUtils.byteArray(Bytes.toBytes(indexCol),Bytes.toBytes(endRow),Bytes.toBytes(keyEndMax)));
       <strong> <span style="color:#cc0000;">scan.setBatch(1);</span></strong>
        scan.addFamily(Bytes.toBytes(hbaseFamily));
        LOGGER.info("[XdrIndexScanTask]inner process!");
        try{
           ResultScanner rs = table.getScanner(scan);             
           if (null != rs) {
              for (Result r : rs) {                  
                for (Cell cell : r.rawCells()) {                           
                    String out = new String(CellUtil.cloneValue(cell));                                                          Map<String, Object> valueMap = JSON.parseObject(out);
                    for (String fileName : valueMap.keySet()) {
                        List<Long> resultList = (List<Long>) valueMap.get(fileName);
                        if(null!=resultList)
                        {                       	                
                             //如果仅仅以时间为查询条件,查询结果不会存在交集。                              
                             List<List<Long>> resultLists = resultMap.get(fileName);
要注意其中标红的一行代码,查询HBase 使用scan的时候如果不设置 setBatch,将会导致每次scan出来的结果数目不一致。

关于scan的其他设置有如下:

      public void setBatch(int batch) :

               为设置获取记录的列个数,默认无限制,也就是返回所有的列

     public void setCaching(int caching):

                每次从服务器端读取的行数,默认为配置文件中设置的值

     public void setCacheBlocks(boolean cacheBlocks):

                为是否缓存块,默认缓存,我们分内存,缓存和磁盘,三种方式,一般数据的读取为内存->缓存->磁盘,当MR的时候为非热点数据,因此不需要缓存

因此在MR的时候最好设置如下:

scan.setCacheBlocks(false); scan.setCaching(200);//大了占内存,但是rpc少 scan.setBatch(6);//你需要的列

你可能感兴趣的:(hbase,scan)