cloudtech
cloudtech

hbase之宽表与窄表对split的影响

hbase的hbase.hregion.max.filesize属性值用来指定region分割的阀值， 该值默认为268435456(256MB), 当一个列族文件大小超过该值时，将会分裂成两个region。
hbase的列可以有很多，设计时有两种方式可选择， 宽表（一行有很多列）和窄表
如有一个存储用户邮件的表
按宽表设计时，可以表示成（一个用户的所有邮件存成一行)
userid1 email1 emali2 email3 ... ... ... ... ... emailn
userid2 email1 emali2 email3 ... ... ... ... ... emailn
useridn
按窄表设计时，可以表示成(rowkey由用ID和emailID组成)
userid1_emialid1 email1
userid1_emialid2 email2
userid1_emialid3 email2
userid1_emialidn emailn
userid2_emialid1 email1
userid2_emialid2 email2
userid2_emialid3 email3
userid2_emialidn emailn
这两种设计方法会对region的分割造成影响， 今天在看HFileOutputFormat代码时发现它new出的RecordWriter对 region分割有一定的限制，

只有当rowkey不同是才会做分割, 而rowkey相同时即使region大小已经超过hbase.hregion.max.filesize值， 也不会分割
RecordWriter代码:

 

     
 
  1.  public void write(ImmutableBytesWritable row, KeyValue kv) 
    2.  
 
  2.   throws IOException { 
    3.  
 
  3.   longlength=kv.getLength(); 
    4.  
 
  4.   byte []family=kv.getFamily(); 
    5.  
 
  5.   WriterLengthwl=this.writers.get(family); 
    6.  
 
  6.   if (wl== null ||((length + wl.written)>= maxsize) && 
    7.  
 
  7.   Bytes.compareTo(this.previousRow, 0, this.previousRow.length, 
    8.  
 
  8.   kv.getBuffer(), kv.getRowOffset(), kv.getRowLength()) != 0) { 
    9.  
 
  9.   // Get a new writer. 
    10.  
 
  10.   Pathbasedir=newPath(outputdir, Bytes.toString(family)); 
    11.  
 
  11.   if (wl== null) { 
    12.  
 
  12.  wl=newWriterLength(); 
    13.  
 
  13.   this.writers.put(family, wl); 
    14.  
 
  14.   if (this.writers.size()>1) throw new IOException("One family only"); 
    15.  
 
  15.   // Ifwl== null, first file in family. Ensure family dir exits. 
    16.  
 
  16.   if (!fs.exists(basedir)) fs.mkdirs(basedir); 
    17.  
 
  17.   } 
    18.  
 
  18.  wl.writer=getNewWriter(wl.writer, basedir); 
    19.  
 
  19.   LOG.info("Writer=" + wl.writer.getPath() + 
    20.  
 
  20.   ((wl.written== 0)? "": ",wrote=" + wl.written)); 
    21.  
 
  21.  wl.written=0; 
    22.  
 
  22.   } 
    23.  
 
  23.   kv.updateLatestStamp(this.now); 
    24.  
 
  24.   wl.writer.append(kv); 
    25.  
 
  25.   wl.written += length; 
    26.  
 
  26.   // Copy the row so we know when a row transition. 
    27.  
 
  27.  this.previousRow=kv.getRow(); 
    28.  
 
  28.   } 
    29.  

 

 标红加粗部分说明当块大小大于hbase.hregion.max.filesize值， 并却当前行与上一次插入的行不同时才会分割region.
1. 宽表情况下， 单独一行大小超过hbase.hregion.max.filesize值， 不会做分割
 2. 相同rowkey下插入很多不同版本的记录，即使大小超过hbase.hregion.max.filesize值， 也不会做分割
 

 下面就来验证下：
 为了尽早看到效果， 需要在hbase-site.xml中修改两个配置参数
 

 

     
 
  1.  <property> 
    2.  
 
  2.  <name>hbase.hregion.memstore.flush.size</name> 
    3.  
 
  3.  <value>5</value> 
    4.  
 
  4.  <description> 
    5.  
 
  5.   Memstore will be flushed to disk if size of the memstore 
    6.  
 
  6.   exceeds this number of bytes. Value is checked by a thread that runs 
    7.  
 
  7.   every hbase.server.thread.wakefrequency. 
    8.  
 
  8.  </description> 
    9.  
 
  9.  </property> 
    10.  
 
  10.  <property> 
    11.  
 
  11.  <name>hbase.hregion.max.filesize</name> 
    12.  
 
  12.  <value>10</value> 
    13.  
 
  13.  <description> 
    14.  
 
  14.   Maximum HStoreFile size. If any one of a column families' HStoreFiles has 
    15.  
 
  15.   grown to exceed this value, the hosting HRegion is split in two. 
    16.  
 
  16.   Default: 256M. 
    17.  
 
  17.  </description> 
    18.  
 
  18.  </property> 
    19.  

 

 建测试表t1和t2
 

 

     
 
  1.  hbase(main):076:0* create 't1','f1' 
    2.  
 
  2.  0 row(s) in 1.6460 seconds 
    3.  
 
  3.   
    4.  
 
  4.  hbase(main):077:0>create 't2','f1' 
    5.  
 
  5.  0 row(s) in 1.1790 seconds 
    6.  

 

 查看系统表 .META.
 

 

     
 
  1.  hbase(main):081:0* scan '.META.' 
    2.  
 
  2.  ROW COLUMN+CELL 
    3.  
 
  3.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:regioninfo,timestamp=1314720667384,value=REGION=>{NAME=>'t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad.',</wbr>STARTKEY=>'', ENDK 
    4.  
 
  4.  .EY=>'',ENCODED=>d8acd6bc659ac8326b88850d<wbr>645a90ad,</wbr>TABLE=>{{NAME=>'t1',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE',REPLICATION_SCOPE 
    5.  
 
  5.   =>'0',COMPRESSION=>'NONE',VERSIONS=>'3',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    6.  
 
  6.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:server,timestamp=1314720667941,value=yinjie:60020 
    7.  
 
  7.  . 
    8.  
 
  8.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:serverstartcode,timestamp=1314720667941,value=1314716290123 
    9.  
 
  9.  . 
    10.  
 
  10.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:regioninfo,timestamp=1314720672241,value=REGION=>{NAME=>'t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71.',</wbr>STARTKEY=>'', ENDK 
    11.  
 
  11.  .EY=>'',ENCODED=>16bb3d2563eab3b4e25477c6<wbr>4e007e71,</wbr>TABLE=>{{NAME=>'t2',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE',REPLICATION_SCOPE 
    12.  
 
  12.   =>'0',COMPRESSION=>'NONE',VERSIONS=>'3',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    13.  
 
  13.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:server,timestamp=1314720672346,value=yinjie:60020 
    14.  
 
  14.  . 
    15.  
 
  15.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:serverstartcode,timestamp=1314720672346,value=1314716290123 
    16.  
 
  16.  . 
    17.  
 
  17.  2 row(s) in 0.0230 seconds 
    18.  

 

 可以看到此时，t1,t2都已有一个region
 先往t1表插入10条记录，rowkwy相同
 

 

     
 
  1.  hbase(main):086:0* for i in 0..9 do\ 
    2.  
 
  2.  hbase(main):087:1* put 't1','row1',"f1:c#{i}","swallow#{i}"\ 
    3.  
 
  3.  hbase(main):088:1* end 
    4.  
 
  4.  0 row(s) in 0.0180 seconds 
    5.  
 
  5.   
    6.  
 
  6.  0 row(s) in 0.0070 seconds 
    7.  
 
  7.   
    8.  
 
  8.  0 row(s) in 0.0420 seconds 
    9.  
 
  9.   
    10.  
 
  10.  0 row(s) in 0.0620 seconds 
    11.  
 
  11.   
    12.  
 
  12.  0 row(s) in 0.0120 seconds 
    13.  
 
  13.   
    14.  
 
  14.  0 row(s) in 0.0770 seconds 
    15.  
 
  15.   
    16.  
 
  16.  0 row(s) in 0.0150 seconds 
    17.  
 
  17.   
    18.  
 
  18.  0 row(s) in 0.1290 seconds 
    19.  
 
  19.   
    20.  
 
  20.  0 row(s) in 10.0740 seconds 
    21.  
 
  21.   
    22.  
 
  22.  0 row(s) in 0.1230seconds 
    23.  
 
  23.   
    24.  
 
  24.  =>0..9 
    25.  
 
  25.  hbase(main):089:0> 
    26.  

 

 查看t1记录
 

 

     
 
  1.  hbase(main):089:0>scan 't1' 
    2.  
 
  2.  ROW COLUMN+CELL 
    3.  
 
  3.  row1column=f1:c0,timestamp=1314720946495,value=swallow0 
    4.  
 
  4.  row1column=f1:c1,timestamp=1314720946507,value=swallow1 
    5.  
 
  5.  row1column=f1:c2,timestamp=1314720946903,value=swallow2 
    6.  
 
  6.  row1column=f1:c3,timestamp=1314720946939,value=swallow3 
    7.  
 
  7.  row1column=f1:c4,timestamp=1314720946976,value=swallow4 
    8.  
 
  8.  row1column=f1:c5,timestamp=1314720947055,value=swallow5 
    9.  
 
  9.  row1column=f1:c6,timestamp=1314720947070,value=swallow6 
    10.  
 
  10.  row1column=f1:c7,timestamp=1314720947198,value=swallow7 
    11.  
 
  11.  row1column=f1:c8,timestamp=1314720957272,value=swallow8 
    12.  
 
  12.  row1column=f1:c9,timestamp=1314720957392,value=swallow9 
    13.  
 
  13.  1 row(s) in 0.0300 seconds 
    14.  

 

 查看 .META.
 

 

     
 
  1.  hbase(main):090:0>scan '.META.' 
    2.  
 
  2.  ROW COLUMN+CELL 
    3.  
 
  3.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:regioninfo,timestamp=1314720667384,value=REGION=>{NAME=>'t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad.',</wbr>STARTKEY=>'', ENDK 
    4.  
 
  4.  .EY=>'',ENCODED=>d8acd6bc659ac8326b88850d<wbr>645a90ad,</wbr>TABLE=>{{NAME=>'t1',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE',REPLICATION_SCOPE 
    5.  
 
  5.   =>'0',COMPRESSION=>'NONE',VERSIONS=>'3',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    6.  
 
  6.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:server,timestamp=1314720667941,value=yinjie:60020 
    7.  
 
  7.  . 
    8.  
 
  8.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:serverstartcode,timestamp=1314720667941,value=1314716290123 
    9.  
 
  9.  . 
    10.  
 
  10.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:regioninfo,timestamp=1314720672241,value=REGION=>{NAME=>'t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71.',</wbr>STARTKEY=>'', ENDK 
    11.  
 
  11.  .EY=>'',ENCODED=>16bb3d2563eab3b4e25477c6<wbr>4e007e71,</wbr>TABLE=>{{NAME=>'t2',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE',REPLICATION_SCOPE 
    12.  
 
  12.   =>'0',COMPRESSION=>'NONE',VERSIONS=>'3',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    13.  
 
  13.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:server,timestamp=1314720672346,value=yinjie:60020 
    14.  
 
  14.  . 
    15.  
 
  15.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:serverstartcode,timestamp=1314720672346,value=1314716290123 
    16.  
 
  16.  . 
    17.  
 
  17.  2 row(s) in 0.0210 seconds 
    18.  

 

 可以看到t1仍旧只有一个region
 

 接下去往往t2表插入10条相同记录，但rowkwy不同
 

 

     
 
  1.  hbase(main):091:0>for i in 0..9 do\ 
    2.  
 
  2.  hbase(main):092:1* put 't2',"row#{i}","f1:c#{i}","swallow#{i}"\ 
    3.  
 
  3.  hbase(main):093:1* end 
    4.  
 
  4.  0 row(s) in 0.1140 seconds 
    5.  
 
  5.   
    6.  
 
  6.  0 row(s) in 0.0080 seconds 
    7.  
 
  7.   
    8.  
 
  8.  0 row(s) in 0.0410 seconds 
    9.  
 
  9.   
    10.  
 
  10.  0 row(s) in 0.0820 seconds 
    11.  
 
  11.   
    12.  
 
  12.  0 row(s) in 0.0210 seconds 
    13.  
 
  13.   
    14.  
 
  14.  0 row(s) in 0.0410 seconds 
    15.  
 
  15.   
    16.  
 
  16.  0 row(s) in 0.0200 seconds 
    17.  
 
  17.   
    18.  
 
  18.  0 row(s) in 0.1210 seconds 
    19.  
 
  19.   
    20.  
 
  20.  0 row(s) in 0.0140 seconds 
    21.  
 
  21.   
    22.  
 
  22.  0 row(s) in 0.0360seconds 
    23.  
 
  23.   
    24.  
 
  24.  =>0..9 
    25.  

 

 查看t2记录
 

 

     
 
  1.  hbase(main):097:0* scan 't2' 
    2.  
 
  2.  ROW COLUMN+CELL 
    3.  
 
  3.  row0column=f1:c0,timestamp=1314721110769,value=swallow0 
    4.  
 
  4.  row1column=f1:c1,timestamp=1314721110787,value=swallow1 
    5.  
 
  5.  row2column=f1:c2,timestamp=1314721110830,value=swallow2 
    6.  
 
  6.  row3column=f1:c3,timestamp=1314721110916,value=swallow3 
    7.  
 
  7.  row4column=f1:c4,timestamp=1314721110932,value=swallow4 
    8.  
 
  8.  row5column=f1:c5,timestamp=1314721110971,value=swallow5 
    9.  
 
  9.  row6column=f1:c6,timestamp=1314721110989,value=swallow6 
    10.  
 
  10.  row7column=f1:c7,timestamp=1314721111121,value=swallow7 
    11.  
 
  11.  row8column=f1:c8,timestamp=1314721111130,value=swallow8 
    12.  
 
  12.  row9column=f1:c9,timestamp=1314721111172,value=swallow9 
    13.  
 
  13.  10 row(s) in 1.0450 seconds 
    14.  

 

 查看 .META.
 

 

     
 
  1.  hbase(main):102:0>scan '.META.' 
    2.  
 
  2.  ROW COLUMN+CELL 
    3.  
 
  3.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:regioninfo,timestamp=1314720667384,value=REGION=>{NAME=>'t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad.',</wbr>STARTKEY=>'', ENDK 
    4.  
 
  4.  .EY=>'',ENCODED=>d8acd6bc659ac8326b88850d<wbr>645a90ad,</wbr>TABLE=>{{NAME=>'t1',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE',REPLICATION_SCOPE 
    5.  
 
  5.   =>'0',COMPRESSION=>'NONE',VERSIONS=>'3',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    6.  
 
  6.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:server,timestamp=1314720667941,value=yinjie:60020 
    7.  
 
  7.  . 
    8.  
 
  8.  t1,,1314720667274.d8acd6bc659ac8326b88850d<wbr>645a90ad</wbr>column=info:serverstartcode,timestamp=1314720667941,value=1314716290123 
    9.  
 
  9.  . 
    10.  
 
  10.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:regioninfo,timestamp=1314721112130,value=REGION=>{NAME=>'t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71.',</wbr>STARTKEY=>'', ENDK 
    11.  
 
  11.  .EY=>'',ENCODED=>16bb3d2563eab3b4e25477c6<wbr>4e007e71,</wbr>OFFLINE=>true,SPLIT=>true,TABLE=>{{NAME=>'t2',FAMILIES=>[{NAME=>'f1', BLOOMFILT 
    12.  
 
  12.  ER=>'NONE',REPLICATION_SCOPE=>'0',VERSIONS=>'3',COMPRESSION=>'NONE',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false', BLOC 
    13.  
 
  13.  KCACHE=>'true'}]}} 
    14.  
 
  14.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:server,timestamp=1314720672346,value=yinjie:60020 
    15.  
 
  15.  . 
    16.  
 
  16.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:serverstartcode,timestamp=1314720672346,value=1314716290123 
    17.  
 
  17.  . 
    18.  
 
  18.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:splitA,timestamp=1314721112130,value=REGION=>{NAME=>'t2,,1314721111490.71df02214242923574b71fe5<wbr>e2a19360.',</wbr>STARTKEY=>'',ENDKEY= 
    19.  
 
  19.  .>'row0',ENCODED=>71df02214242923574b71fe5<wbr>e2a19360,</wbr>TABLE=>{{NAME=>'t2',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE',REPLICATION_SCOPE 
    20.  
 
  20.   =>'0',VERSIONS=>'3',COMPRESSION=>'NONE',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    21.  
 
  21.  t2,,1314720672168.16bb3d2563eab3b4e25477c6<wbr>4e007e71</wbr>column=info:splitB,timestamp=1314721112130,value=REGION=>{NAME=>'t2,row0,1314721111490.915ee8d4a32c59a4ec3960e3<wbr>35b061ca.',</wbr>STARTKEY=>'row0', 
    22.  
 
  22.  .ENDKEY=>'',ENCODED=>915ee8d4a32c59a4ec3960e3<wbr>35b061ca,</wbr>TABLE=>{{NAME=>'t2',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE', REPLICATION_SC 
    23.  
 
  23.  OPE=>'0',VERSIONS=>'3',COMPRESSION=>'NONE',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    24.  
 
  24.  t2,,1314721111490.71df02214242923574b71fe5<wbr>e2a19360</wbr>column=info:regioninfo,timestamp=1314721112267,value=REGION=>{NAME=>'t2,,1314721111490.71df02214242923574b71fe5<wbr>e2a19360.',</wbr>STARTKEY=>'', ENDK 
    25.  
 
  25.  .EY=>'row0',ENCODED=>71df02214242923574b71fe5<wbr>e2a19360,</wbr>TABLE=>{{NAME=>'t2',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE', REPLICATION_SC 
    26.  
 
  26.  OPE=>'0',VERSIONS=>'3',COMPRESSION=>'NONE',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    27.  
 
  27.  t2,,1314721111490.71df02214242923574b71fe5<wbr>e2a19360</wbr>column=info:server,timestamp=1314721112267,value=yinjie:60020 
    28.  
 
  28.  . 
    29.  
 
  29.  t2,,1314721111490.71df02214242923574b71fe5<wbr>e2a19360</wbr>column=info:serverstartcode,timestamp=1314721112267,value=1314716290123 
    30.  
 
  30.  . 
    31.  
 
  31.  t2,row0,1314721111490.915ee8d4a32c59a4ec3960e3<wbr>35b0</wbr>column=info:regioninfo,timestamp=1314721112627,value=REGION=>{NAME=>'t2,row0,1314721111490.915ee8d4a32c59a4ec3960e3<wbr>35b061ca.',</wbr>STARTKEY=>'row 
    32.  
 
  32.  61ca. 0',ENDKEY=>'',ENCODED=>915ee8d4a32c59a4ec3960e3<wbr>35b061ca,</wbr>TABLE=>{{NAME=>'t2',FAMILIES=>[{NAME=>'f1',BLOOMFILTER=>'NONE', REPLICATIO 
    33.  
 
  33.  N_SCOPE=>'0',VERSIONS=>'3',COMPRESSION=>'NONE',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'}]}} 
    34.  
 
  34.  t2,row0,1314721111490.915ee8d4a32c59a4ec3960e3<wbr>35b0</wbr>column=info:server,timestamp=1314721112627,value=yinjie:60020 
    35.  
 
  35.  61ca. 
    36.  
 
  36.  t2,row0,1314721111490.915ee8d4a32c59a4ec3960e3<wbr>35b0</wbr>column=info:serverstartcode,timestamp=1314721112627,value=1314716290123 
    37.  
 
  37.  61ca. 
    38.  
 
  38.  4 row(s) in 0.0380 seconds 
    39.  

 

 可以看到t2的region已经分裂.

                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(hbase)

        

            

                
    
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • 浅谈MapReduce
                        Android路上的人
Hadoop分布式计算mapreduce分布式框架hadoop
                        
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
    
                    
    • 
                    
  • hbase介绍
                        CrazyL-
云计算+大数据hbase
                        
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
    
                    
    • 
                    
  • Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）
                        May--J--Oldhu
HBaseHBaseshellhbase物理架构hbase逻辑架构hbase
                        
    NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
    
                    
    • 
                    
  • HBase（一）——HBase介绍
                        weixin_30595035
大数据数据库数据结构与算法
                        
    HBase介绍1、关系型数据库与非关系型数据库（1）关系型数据库关系型数据库最典型的数据机构是表，由二维表及其之间的联系所组成的一个数据组织优点：1、易于维护：都是使用表结构，格式一致2、使用方便：SQL语言通用，可用于复杂查询3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询缺点：1、读写性能比较差，尤其是海量数据的高效率读写2、固定的表结构，灵活度稍欠3、高并发读写需求，传统关
    
                    
    • 
                    
  • HBase介绍
                        mingyu1016
数据库
                        
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
    
                    
    • 
                    
  • Hbase - 迁移数据[导出,导入]
                        kikiki5

                        
    >有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作。![](https://upload-images.jianshu.io/upload_images/9028759-4fb9aa8ca3777969.png?imageMogr2/auto
    
                    
    • 
                    
  • 通过DBeaver连接Phoenix操作hbase
                        不想做咸鱼的王富贵

                        
    通过DBeaver连接Phoenix操作hbase前言本文介绍常用一种通用数据库工具Dbeaver，DBeaver可通过JDBC连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQLServer、Sybase、MSAccess、Teradata、Firebird、Derby等等。商业版本更是可以支持各种NoSQ
    
                    
    • 
                    
  • Hbase - kerberos认证异常
                        kikiki2

                        
    之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
    
                    
    • 
                    
  • kvm 虚拟机命令行虚拟机操作、制作快照和恢复快照以及工作常用总结
                        西京刀客
云原生(CloudNative)云计算虚拟化LinuxC/C++服务器linuxkvm
                        
    文章目录kvm虚拟机命令行虚拟机操作、制作快照和恢复快照一、kvm虚拟机命令行虚拟机操作(创建和删除)查看虚拟机virt-install创建一个虚拟机关闭虚拟机重启虚拟机销毁虚拟机二、kvm制作快照和恢复快照**创建快照**工作常见问题创建快照报错：：internalsnapshotsofaVMwithpflashbasedfirmwarearenotsupported检查虚拟机是否包含pflas
    
                    
    • 
                    
  • hadoop 0.22.0 部署笔记
                        weixin_33701564
大数据java运维
                        
    为什么80%的码农都做不了架构师？>>>因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。环境：redhat5、hadoop-0.22.0.tar.gz、jdk-6u13-linux-i586.zipip192.168.1.128hostname：localhost.localdomain（
    
                    
    • 
                    
  • 实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题
                        2401_84181221
程序员架构大数据
                        
    +Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC
    
                    
    • 
                    
  • HBase 源码阅读（一）
                        Such Devotion
hbase数据库大数据
                        
    1.HMastermain方法在上文中MacosM1IDEA本地调试HBase2.2.2，我们使用HMaster的主函数使用"start"作为入参，启动了HMaster进程这里我们再深入了解下HMaster的运行机理publicstaticvoidmain(String[]args){LOG.info("STARTINGservice"+HMaster.class.getSimpleName())
    
                    
    • 
                    
  • HBase 源码阅读（四）HBase 关于LSM Tree的实现- MemStore
                        Such Devotion
hbaselsm-tree数据库
                        
    4.MemStore接口Memstore的函数不能并行的被调用。调用者需要持有读写锁，这个的实现在HStore中我们放弃对MemStore中的诸多函数进行查看直接看MemStore的实现类AbstractMemStoreCompactingMemStoreDefaultMemStore4.1三个实现类的使用场景1.AbstractMemStore角色:基础抽象类作用:AbstractMemStor
    
                    
    • 
                    
  • 大数据（Hbase简单示例）
                        BL小二
hbase大数据hadoop
                        
    importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase
    
                    
    • 
                    
  • Hbase的简单使用示例
                        傲雪凌霜，松柏长青
后端大数据hbase数据库大数据
                        
    HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。HBase通常用于实时数据存取场景，与Hadoop生态紧密集成。使用HBase的Java示例前置条件HBase集群：确保HBase集群已经安装并启动。如果没有，你可以通过本地伪分布模式或Docker来运行HBase。Hadoop配置：HBas
    
                    
    • 
                    
  • 快手HBase在千亿级用户特征数据分析中的应用与实践
                        王知无

                        
    声明：本文的原文是来自Hbase技术社区的一个PPT分享，个人做了整理和提炼。大家注意哈，这种会议PPT类的东西能学习到的更多的是技术方案和他人在实践过程中的经验。希望对大家有帮助。背景快手每天产生数百亿用户特征数据，分析师需要在跨30-90天的数千亿特征数据中，任意选择多维度组合(如:城市=北京&性别=男)，秒级分析用户行为。针对这一需求,快手基于HBase自主研发了支持bitmap转化、存储、
    
                    
    • 
                    
  • ClickHouse与其他数据库的对比
                        九州Pro
ClickHouse数据库clickhouse数据仓库大数据sql
                        
    目录1与传统关系型数据库的对比1.1性能差异1.2数据模型差异1.3适用场景差异2与其他列式存储数据库的对比2.1ApacheCassandra2.2HBase3与分布式数据库的对比3.1GoogleBigQuery3.2AmazonRedshift3.3Snowflake4ClickHouse的缺点5ClickHouse的其他优点1与传统关系型数据库的对比1.1性能差异ClickHouse是一种
    
                    
    • 
                    
  • Hbase、hive以及ClickHouse的介绍和区别？
                        damokelisijian866
hbasehiveclickhouse
                        
    一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。HBase的设计灵感来源于Google的Bigtable论文，它通过提供类似于Bigtable的能力，在Hadoop之上构建了一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase主要用于存储大量结构化数据，并支持随机读写访问，
    
                    
    • 
                    
  • Hive和Hbase的区别
                        傲雪凌霜，松柏长青
大数据后端hivehbasehadoop
                        
    Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。以下是两者的主要区别：1.数据模型Hive：Hive类似于传统的关系型数据库(RDBMS)，以表格形式存储数据。它使用SQL-like语言HiveQL来查询和处理数据，数据通常是结构化或半结构化的。HBase：HBase是一个NoSQL数据库，基于Google的BigTable模型。
    
                    
    • 
                    
  • HBase
                        傲雪凌霜，松柏长青
大数据后端hbase数据库大数据
                        
    ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。HBase的设计灵感来自Google的Bigtable，能够在海量数据中提供快速的随机读写操作，适合需要低延迟和高吞吐量的应用场景。HBase核心概念表（Table）：HBase的数据存储在表中，与传统的关系型数据库不同，HBase的表是面向列族（Co
    
                    
    • 
                    
  • 大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？
                        蓦然_
大数据面试题hive大数据开发面试题大数据面试
                        
    1、为什么要使用Hive？Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS、Amazon的S3和像HBase（Hadoop数据仓库）和Cassandra这样的数据库中的数据。大多数数据仓库应用程序都是使用关系数据库进行实现的，并使用SQL作为
    
                    
    • 
                    
  • Hadoop组件
                        静听山水
Hadoophadoop
                        
    这张图片展示了Hadoop生态系统的一些主要组件。Hadoop是一个开源的大数据处理框架，由Apache基金会维护。以下是每个组件的简短介绍：HBase：一个分布式、面向列的NoSQL数据库，基于GoogleBigTable的设计理念构建。HBase提供了实时读写访问大量结构化和半结构化数据的能力，非常适合大规模数据存储。Pig：一种高级数据流语言和执行引擎，用于编写MapReduce任务。Pig
    
                    
    • 
                    
  • Hbase BulkLoad用法
                        kikiki2

                        
    要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。使用方法导入依赖包compilegroup:'org.apache.spark',name:'spark-sql_2.11',version:'2.3.1.3.0.0.0-1634'compilegroup:'org.apach
    
                    
    • 
                    
  • EMR组件部署指南
                        ivwdcwso
运维EMR大数据开源运维
                        
    EMR(ElasticMapReduce)是一个大数据处理和分析平台,包含了多个开源组件。本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在/data目录下进行。首先安装JDK1.8:yuminstalljava-1.8.0-openjdk部署
    
                    
    • 
                    
  • Sublime text3+python3配置及插件安装
                        raysonfang

                        
    作者：方雷个人博客：http://blog.chargingbunk.cn/微信公众号：rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式/高并发：分布式锁，消息队列RabbitMQ大数据处理：Hadoop,spark,HBase等python方向：pythonweb开发一，前言在网上搜索了一些Python开发的
    
                    
    • 
                    
  • Spring Data：JPA与Querydsl
                        光图强
java
                        
    JPAJPA是java的一个规范，用于在java对象和数据库之间保存数据，充当面向对象领域模型和数据库之间的桥梁。它使用Hibernate、TopLink、IBatis等ORM框架实现持久性规范。SpringDataSpringData是Spring的一个子项目，用于简化数据库访问，支持NoSql数据和关系数据库。支持的NoSql数据库包括：Mongodb、redis、Hbase、Neo4j。Sp
    
                    
    • 
                    
  • HBase 源码阅读（二）
                        Such Devotion
hbase数据库大数据
                        
    衔接在上一篇文章中，HMasterCommandLine类中在startMaster();方法中//这里除了启动HMaster之外，还启动一个HRegionServerLocalHBaseClustercluster=newLocalHBaseCluster(conf,mastersCount,regionServersCount,LocalHMaster.class,HRegionServer.
    
                    
    • 
                    
  • 大数据技术之HBase 与 Hive 集成(7)
                        大数据深度洞察
Hbase大数据hbasehive
                        
    目录使用场景HBase与Hive集成使用1）案例一2）案例二使用场景如果大量的数据已经存放在HBase上面，并且需要对已经存在的数据进行数据分析处理，那么Phoenix并不适合做特别复杂的SQL处理。此时，可以使用Hive映射HBase的表格，之后通过编写HQL进行分析处理。HBase与Hive集成使用Hive安装https://blog.csdn.net/qq_45115959/article/
    
                    
    • 
                    
  • 【HBase之轨迹】（1）使用 Docker 搭建 HBase 集群
                        寒冰小澈IceClean
【大数据之轨迹】【Docker之轨迹】笔记hbasedockerhadoop
                        
    ——目录——0.前置准备1.下载安装2.配置（重）3.启动与关闭4.搭建高可用HBase前言（贫穷使我见多识广）前边经历了Hadoop，Zookeeper，Kafka，他们的集群，全都是使用Docker搭建的一开始的我认为，把容器看成是一台台独立的服务器就好啦也确实是这样，但端口映射问题，让我一路以来磕碰了太多太多，直到现在的HBase，更是将Docker集群所附带的挑战性，放大到了极致（目前是如
    
                    
    • 
                                
  • ztree设置禁用节点
                                    3213213333332132
JavaScriptztreejsonsetDisabledNodeAjax
                                    
    ztree设置禁用节点的时候注意，当使用ajax后台请求数据,必须要设置为同步获取数据，否者会获取不到节点对象，导致设置禁用没有效果。 
 
 
$(function(){            	
                showTree();
	            setDisabledNode();

});
                   
        
    
                                
    • 
                                
  • JVM patch by Taobao
                                    bookjovi
javaHotSpot
                                    
    在网上无意中看到淘宝提交的hotspot patch，共四个，有意思，记录一下。 
  
7050685：jsdbproc64.sh has a typo in the package name 
7058036：FieldsAllocationStyle=2 does not work in 32-bit VM 
7060619：C1 should respect inline and
    
                                
    • 
                                
  • 将session存储到数据库中
                                    dcj3sjt126com
sqlPHPsession
                                    
    CREATE TABLE sessions (
  id CHAR(32) NOT NULL,
  data TEXT,
  last_accessed TIMESTAMP NOT NULL,
  PRIMARY KEY (id)
); 
  
<?php
/**
 * Created by PhpStorm.
 * User: michaeldu
 * Date
    
                                
    • 
                                
  • Vector
                                    171815164
vector
                                    
    public Vector<CartProduct> delCart(Vector<CartProduct> cart, String id) {
		for (int i = 0; i < cart.size(); i++) {
			if (cart.get(i).getId().equals(id)) {
				cart.remove(i);
				
    
                                
    • 
                                
  • 各连接池配置参数比较
                                    g21121
连接池
                                    
            排版真心费劲，大家凑合看下吧，见谅~ 
      
  
Druid 
DBCP 
C3P0 
Proxool   
数据库用户名称 Username Username User     
数据库密码 Password Password Password     
驱动名
    
                                
    • 
                                
  • [简单]mybatis insert语句添加动态字段
                                    53873039oycg
mybatis
                                    
          mysql数据库,id自增,配置如下： 
      
<insert id="saveTestTb" useGeneratedKeys="true" keyProperty="id"
		parameterType=&
    
                                
    • 
                                
  • struts2拦截器配置
                                    云端月影
struts2拦截器
                                    
    struts2拦截器interceptor的三种配置方法 
方法1. 普通配置法 
 
<struts> 
    <package name="struts2" extends="struts-default"> 
        &
    
                                
    • 
                                
  • IE中页面不居中，火狐谷歌等正常
                                    aijuans
IE中页面不居中
                                    
    问题是首页在火狐、谷歌、所有IE中正常显示，列表页的页面在火狐谷歌中正常，在IE6、7、8中都不中，觉得可能那个地方设置的让IE系列都不认识，仔细查看后发现，列表页中没写HTML模板部分没有添加DTD定义，就是<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3
    
                                
    • 
                                
  • String,int,Integer,char 几个类型常见转换
                                    antonyup_2006
htmlsql.net
                                    
    如何将字串 String 转换成整数 int? 
int i = Integer.valueOf(my_str).intValue(); 
 
int i=Integer.parseInt(str); 
 
如何将字串 String 转换成Integer ? 
Integer integer=Integer.valueOf(str); 
 
如何将整数 int 转换成字串 String ? 
1.
    
                                
    • 
                                
  • PL/SQL的游标类型
                                    百合不是茶
显示游标(静态游标)隐式游标游标的更新和删除%rowtyperef游标(动态游标)
                                    
    游标是oracle中的一个结果集,用于存放查询的结果; 
  
PL/SQL中游标的声明; 
1,声明游标

2,打开游标(默认是关闭的);

3,提取数据

4,关闭游标
 
  
  
注意的要点:游标必须声明在declare中,使用open打开游标,fetch取游标中的数据,close关闭游标 
  
隐式游标:主要是对DML数据的操作隐
    
                                
    • 
                                
  • JUnit4中@AfterClass @BeforeClass @after @before的区别对比
                                    bijian1013
JUnit4单元测试
                                    
    一.基础知识 
JUnit4使用Java5中的注解（annotation），以下是JUnit4常用的几个annotation： @Before：初始化方法   对于每一个测试方法都要执行一次（注意与BeforeClass区别，后者是对于所有方法执行一次）@After：释放资源  对于每一个测试方法都要执行一次（注意与AfterClass区别，后者是对于所有方法执行一次
    
                                
    • 
                                
  • 精通Oracle10编程SQL(12)开发包
                                    bijian1013
oracle数据库plsql
                                    
    /*
 *开发包
 *包用于逻辑组合相关的PL/SQL类型（例如TABLE类型和RECORD类型）、PL/SQL项（例如游标和游标变量）和PL/SQL子程序（例如过程和函数）
 */
--包用于逻辑组合相关的PL/SQL类型、项和子程序，它由包规范和包体两部分组成
--建立包规范：包规范实际是包与应用程序之间的接口，它用于定义包的公用组件，包括常量、变量、游标、过程和函数等
--在包规
    
                                
    • 
                                
  • 【EhCache二】ehcache.xml配置详解
                                    bit1129
ehcache.xml
                                    
    在ehcache官网上找了多次，终于找到ehcache.xml配置元素和属性的含义说明文档了，这个文档包含在ehcache.xml的注释中！ 
ehcache.xml ： http://ehcache.org/ehcache.xml 
ehcache.xsd ： http://ehcache.org/ehcache.xsd 
ehcache配置文件的根元素是ehcahe 
  ehcac
    
                                
    • 
                                
  • java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderL
                                    白糖_
javaeclipsespringtomcatWeb
                                    
    今天学习spring+cxf的时候遇到一个问题：在web.xml中配置了spring的上下文监听器： 
<listener>
	<listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
</listener> 
 随后启动
    
                                
    • 
                                
  • angular.element
                                    boyitech
AngularJSAngularJS APIangular.element
                                    
    angular.element 
描述:      包裹着一部分DOM element或者是HTML字符串，把它作为一个jQuery元素来处理。（类似于jQuery的选择器啦）       如果jQuery被引入了，则angular.element就可以看作是jQuery选择器，选择的对象可以使用jQuery的函数；如果jQuery不可用，angular.e
    
                                
    • 
                                
  • java-给定两个已排序序列，找出共同的元素。
                                    bylijinnan
java
                                    
    
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;


public class CommonItemInTwoSortedArray {

	/**
	 * 题目：给定两个已排序序列，找出共同的元素。
	 * 1.定义两个指针分别指向序列的开始。
	 * 如果指向的两个元素
    
                                
    • 
                                
  • sftp 异常，有遇到的吗？求解
                                    Chen.H
javajcraftauthjschjschexception
                                    
    com.jcraft.jsch.JSchException: Auth cancel 
 at com.jcraft.jsch.Session.connect(Session.java:460) 
 at com.jcraft.jsch.Session.connect(Session.java:154) 
 at cn.vivame.util.ftp.SftpServerAccess.connec
    
                                
    • 
                                
  • [生物智能与人工智能]神经元中的电化学结构代表什么?
                                    comsci
人工智能
                                    
         我这里做一个大胆的猜想,生物神经网络中的神经元中包含着一些化学和类似电路的结构,这些结构通常用来扮演类似我们在拓扑分析系统中的节点嵌入方程一样,使得我们的神经网络产生智能判断的能力,而这些嵌入到节点中的方程同时也扮演着"经验"的角色.... 
 
     我们可以尝试一下...在某些神经
    
                                
    • 
                                
  • 通过LAC和CID获取经纬度信息
                                    dai_lm
laccid
                                    
    方法1： 
用浏览器打开http://www.minigps.net/cellsearch.html，然后输入lac和cid信息(mcc和mnc可以填0)，如果数据正确就可以获得相应的经纬度 
 
方法2： 
发送HTTP请求到http://www.open-electronics.org/celltrack/cell.php?hex=0&lac=<lac>&cid=&
    
                                
    • 
                                
  • JAVA的困难分析
                                    datamachine
java
                                    
    前段时间转了一篇SQL的文章（http://datamachine.iteye.com/blog/1971896），文章不复杂，但思想深刻，就顺便思考了一下java的不足，当砖头丢出来，希望引点和田玉。 
  
-----------------------------------------------------------------------------------------
    
                                
    • 
                                
  • 小学5年级英语单词背诵第二课
                                    dcj3sjt126com
englishword
                                    
    money 钱 
paper 纸 
speak 讲，说 
tell 告诉 
  
remember 记得，想起 
knock 敲，击，打 
question 问题 
number 数字，号码 
  
learn 学会，学习 
street 街道 
carry 搬运，携带 
send 发送，邮寄，发射 
  
must 必须 
light 灯，光线，轻的 
front 
    
                                
    • 
                                
  • linux下面没有tree命令
                                    dcj3sjt126com
linux
                                    
    centos p安装 
yum -y install tree 
  
mac os安装 
brew install tree 
  首先来看tree的用法  
tree  中文解释：tree
功能说明：以树状图列出目录的内容。
语　　法：tree [-aACdDfFgilnNpqstux][-I <范本样式>][-P <范本样式
    
                                
    • 
                                
  • Map迭代方式，Map迭代，Map循环
                                    蕃薯耀
Map循环Map迭代Map迭代方式
                                    
    Map迭代方式，Map迭代，Map循环 
  
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 
蕃薯耀 2015年
    
                                
    • 
                                
  • Spring Cache注解+Redis
                                    hanqunfeng
spring
                                    
    Spring3.1 Cache注解  
依赖jar包： 
<!-- redis -->
		<dependency>
			<groupId>org.springframework.data</groupId>
			<artifactId>spring-data-redis</artifactId>
			
    
                                
    • 
                                
  • Guava中针对集合的 filter和过滤功能
                                    jackyrong
filter
                                    
    在guava库中，自带了过滤器(filter)的功能，可以用来对collection 进行过滤，先看例子： 
 
   

@Test
public void whenFilterWithIterables_thenFiltered() {
    List<String> names = Lists.newArrayList("John"
    
                                
    • 
                                
  • 学习编程那点事
                                    lampcy
编程androidPHPhtml5
                                    
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 
接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
    
                                
    • 
                                
  • 架构师之流处理---------bytebuffer的mark,limit和flip
                                    nannan408
ByteBuffer
                                    
    1.前言。 
  如题，limit其实就是可以读取的字节长度的意思，flip是清空的意思，mark是标记的意思 。 
2.例子. 
 

例子代码:
     String str = "helloWorld";  
        ByteBuffer buff  = ByteBuffer.wrap(str.getBytes());  
        Sy
    
                                
    • 
                                
  • org.apache.el.parser.ParseException: Encountered " ":" ": "" at line 1, column 1
                                    Everyday都不同
$转义el表达式
                                    
    最近在做Highcharts的过程中，在写js时，出现了以下异常： 
  
严重: Servlet.service() for servlet jsp threw exception 
org.apache.el.parser.ParseException: Encountered " ":" ": "" at line 1, 
    
                                
    • 
                                
  • 用Java实现发送邮件到163
                                    tntxia
java实现
                                    
    /*

 在java版经常看到有人问如何用javamail发送邮件？如何接收邮件？如何访问多个文件夹等。问题零散，而历史的回复早已经淹没在问题的海洋之中。

 本人之前所做过一个java项目，其中包含有WebMail功能，当初为用java实现而对javamail摸索了一段时间，总算有点收获。看到论坛中的经常有此方面的问题，因此把我的一些经验帖出来，希望对大家有些帮助。

 此篇仅介绍用
    
                                
    • 
                                
  • 探索实体类存在的真正意义
                                    java小叶檀
POJO
                                    
    一. 实体类简述   
 实体类其实就是俗称的POJO,这种类一般不实现特殊框架下的接口，在程序中仅作为数据容器用来持久化存储数据用的 
POJO（Plain Old Java Objects）简单的Java对象 
  
它的一般格式就是 
public class A{
      private String id;
      public Str
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他