PHP和Golang使用Thrift1和Thrift2访问Hbase0.96.2(ubuntu12.04)

目录：
　　一、Thrift1和Thrift2的简要介绍
　　　　1) 写在前面
　　　　2) Thrift1和Thrift2的区别 
　　二、Thrift0.9.2的安装
　　　　1) 安装依赖插件
　　　　2) Thrift0.9.2的编译 
　　　　3) Thrift0.9.2编译后，配置成可执行文件
　　三、Hbase0.96.2的安装
　　　　1) Hbase的介绍
　　　　2) Hbase的安装
　　　　3) Hbase基于源码的Thrift生成接口文件
　　四、PHP和Golang使用Thrift1和Thrift2访问Hbase
　　　　1) PHP基于Thrift1访问Hbase
　　　　2) Golang基于Thrift2访问Hbase
　　五、常见问题
　　六、扩展阅读
 
目录：
　　一、Thrift1和Thrift2的简要介绍
　　　　1) 写在前面
　　从Hbase0.94.11开始有两套thrift接口（可以叫Thrift1和Thrift2），根据官方文档，Thrift1很可能被抛弃，但网上的文章基本是介绍Thrift1的，本文则兼容介绍Thrift1和Thrift2，目前在网上是比较详细的介绍Thrift2文章了。
　　Thrift2相比较Thrift1做了简化和合成，但不提供查询所有Table、创建Table、删除Table的功能了。日常在工作中应该也很少会在Hbase中使用Thrift来创建Table。
　　从Thrift0.9.1开始支持golang语言，相关使用和demo可以参考这里《 Golang、Php、Python、Java基于Thrift0.9.1实现跨语言调用》，不过由于写本文时Thrift0.9.1中对Golang访问Hbase支持的并不友好，在0.9.2中的Thrift2已经进行了改进可以很好的支持Golang访问Hbase。所以后面在使用Golang访问Hbase时，使用的是Thrift0.9.2。
　　网上关于Thrift1的文章一搜索有很多，也就不在这里多描述，在后面的演示中Thrift2中90%的方法都会有，不过在实际使用中可能还需要根据你的系统要求进行二次封装 。
 
　　　　2) Thrift1和Thrift2的区别
　　现在官网也没有太详细的介绍，下面的对比也是从IDL描述中找到的。这是一位网友整理的，后面的扩展阅读中链接了他的文章，更多的介绍可以去那里看。

 

Thrift

Thrift2

结构

struct TCell

struct ColumnDescriptor

struct TRegionInfo

struct Mutation

struct BatchMutation

struct TIncrement

struct TColumn

struct TRowResult

struct TScan

struct TTimeRange

struct TColumn

struct TColumnValue

struct TColumnIncrement

struct TResult

struct TGet

struct TPut

struct TDelete

struct TIncrement

struct TScan

struct TRowMutations

异常

exception IOError

exception IllegalArgument

exception AlreadyExists

exception TIOError

exception TIllegalArgument

其他

 

union TMutation

enum TDeleteType

enum TDurability

服务

名称为：Hbase

void enableTable()

void disableTable()

bool isTableEnabled()

void compact()

void majorCompact()

list<Text> getTableNames()

map<Text,ColumnDescriptor> getColumnDescriptors()

list<TRegionInfo> getTableRegions()

void createTable()

void deleteTable()

list<TCell> get()

list<TCell> getVer()

list<TCell> getVerTs()

list<TRowResult> getRow()

list<TRowResult> getRowWithColumns()

list<TRowResult> getRowTs()

list<TRowResult> getRowWithColumnsTs()

list<TRowResult> getRows()

list<TRowResult> getRowsWithColumns()

list<TRowResult> getRowsTs()

list<TRowResult> getRowsWithColumnsTs()

void mutateRow()

void mutateRowTs()

void mutateRows()

void mutateRowsTs()

i64 atomicIncrement()

void deleteAll()

void deleteAllTs()

void deleteAllRow()

void increment()

void incrementRows()

void deleteAllRowTs()

ScannerID scannerOpenWithScan()

ScannerID scannerOpen()

ScannerID scannerOpenWithStop()

ScannerID scannerOpenWithPrefix()

ScannerID scannerOpenTs()

ScannerID scannerOpenWithStopTs()

list<TRowResult> scannerGet()

list<TRowResult> scannerGetList()

void scannerClose()

list<TCell> getRowOrBefore()

TRegionInfo getRegionInfo()

名称为：THBaseService

bool exists(...)

TResult get(...)

list<TResult> getMultiple(...)

void put(...)

bool checkAndPut(...)

void putMultiple(...)

void deleteSingle(...)

list<TDelete> deleteMultiple(...)

bool checkAndDelete(...)

TResult increment(...)

i32 openScanner(...)

list<TResult> getScannerRows(...)

void closeScanner(...)

void mutateRow(...)

list<TResult> getScannerResults(...)
 
　　二、Thrift0.9.2的安装
　　　　1) 安装依赖插件
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
root@m1: /home/hadoop #sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev
#下载thirft0.9.2版本
root@m1: /home/hadoop # git clone https://github.com/apache/thrift.git thrift-git0.9.2
Cloning into 'thrift-git0.9.2' ...
remote: Counting objects: 37221, done .
remote: Compressing objects: 100% (195 /195 ), done .
remote: Total 37221 (delta 312), reused 407 (delta 272)
Receiving objects: 100% (37221 /37221 ), 9.61 MiB | 74 KiB /s , done .
Resolving deltas: 100% (25830 /25830 ), done .
root@m1: /home/hadoop #cd thrift-git0.9.2
# 切换成相应所要用的分支，如果你编译通过，就不用像我现在这样切换了
root@m2: /home/hadoop/thrift-git0 .9.2 # git checkout --track origin/0.9.2
Branch 0.9.2 set up to track remote branch 0.9.2 from origin.
Switched to a new branch ‘0.9.2’
　　　　2) Thrift0.9.2的编译 
　　#编译Thrift0.9.2版本，注意这个版本和0.9.1编译方法不一样，详情可以参考/home/hadoop/thrift-git0.9.2/compiler/cpp/README.md中的说明
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
root@m1: /home/hadoop/thrift-git0 .9.2 # mkdir -p compiler/cpp/build
root@m1: /home/hadoop/thrift-git0 .9.2 # cd compiler/cpp/build
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build # cmake ..
-- The C compiler identification is GNU
-- The CXX compiler identification is GNU
-- Check for working C compiler: /usr/bin/gcc
-- Check for working C compiler: /usr/bin/gcc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Check for working CXX compiler: /usr/bin/c ++
-- Check for working CXX compiler: /usr/bin/c ++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Thrift package version: 0.9.2
-- Thrift version: 0.9.2 (0.9.2)
-- Found FLEX: /usr/bin/flex (found version "2.5.35" )
-- Found BISON: /usr/bin/bison (found version "2.5" )
-- Configuring done
-- Generating done
-- Build files have been written to: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build # make
[  3%] [BISON][thrifty] Building parser with bison 2.5
[  6%] Generating thrifty.h
[  9%] [FLEX][thriftl] Building scanner with flex 2.5.35
Scanning dependencies of target libparse
[ 12%] Building CXX object CMakeFiles /libparse . dir /thrifty .cc.o
[ 15%] Building CXX object CMakeFiles /libparse . dir /thriftl .cc.o
Linking CXX static library liblibparse.a
[ 15%] Built target libparse
Scanning dependencies of target thrift
[ 18%] Building CXX object CMakeFiles /thrift . dir /src/main .cc.o
[ 21%] Building C object CMakeFiles /thrift . dir /src/md5 .c.o
[ 25%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_generator .cc.o
[ 28%] Building CXX object CMakeFiles /thrift . dir /src/parse/t_typedef .cc.o
[ 31%] Building CXX object CMakeFiles /thrift . dir /src/parse/parse .cc.o
[ 34%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_c_glib_generator .cc.o
[ 37%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_cpp_generator .cc.o
[ 40%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_java_generator .cc.o
[ 43%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_as3_generator .cc.o
[ 46%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_csharp_generator .cc.o
[ 50%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_py_generator .cc.o
[ 53%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_rb_generator .cc.o
[ 56%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_perl_generator .cc.o
[ 59%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_php_generator .cc.o
[ 62%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_erl_generator .cc.o
[ 65%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_cocoa_generator .cc.o
[ 68%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_st_generator .cc.o
[ 71%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_ocaml_generator .cc.o
[ 75%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_hs_generator .cc.o
[ 78%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_xsd_generator .cc.o
[ 81%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_html_generator .cc.o
[ 84%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_js_generator .cc.o
[ 87%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_javame_generator .cc.o
[ 90%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_delphi_generator .cc.o
[ 93%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_go_generator .cc.o
[ 96%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_d_generator .cc.o
[100%] Building CXX object CMakeFiles /thrift . dir /src/generate/t_lua_generator .cc.o
Linking CXX executable thrift
[100%] Built target thrift
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build #
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build # ./thrift -version
Thrift version 0.9.2
　　　　3) Thrift0.9.2编译后，配置成可执行文件
　　#将编译后的Thrift0.9.2放到可执行程序目录，并命名为thrift092
?
1
2
3
4
5
6
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build # whereis thrift
thrift: /usr/local/bin/thrift
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build # cp thrift /usr/local/bin/thrift092
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build # thrift092 -version
Thrift version 0.9.2
root@m1: /home/hadoop/thrift-git0 .9.2 /compiler/cpp/build #
　　三、Hbase0.96.2的安装
　　　　1) Hbase的介绍
　　hbase的介绍，参考这里：http://baike.baidu.com/view/1993870.htm
 
　　　　2) Hbase的安装
　　 后面的测试，也是基于上面这篇文章的环境测试的。
 
　　　　3) Hbase基于源码的Thrift生成接口文件
　　#下载Hbase的源码包（后面会使用里面的Thrift1和Thrift2）
?
1
2
root@m1: /home/hadoop # wget http://mirrors.hust.edu.cn/apache/hbase/hbase-0.96.2/hbase-0.96.2-src.tar.gz
root@m1: /home/hadoop # tar xzvf hbase-0.96.2-src.tar.gz
　　#创建测试目录
?
1
2
root@m1: /home/hadoop # mkdir thrift_hbase
root@m1: /home/hadoop # cd thrift_hbase/
　　#生成Php基于Hbase的Thrift1的接口文件，由于Thrift0.9.1版本对Golang访问Hbase支持不够后，后面Golang访问Hbase用Thrift0.9.2来测试
?
1
2
3
4
5
6
7
root@m1: /home/hadoop/thrift_hbase # thrift --gen php /home/hadoop/hbase-0.96.2/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift
root@m1: /home/hadoop/thrift_hbase # ll
总用量 16
drwxr-xr-x  4 root   root   4096 Aug 19 21:19 ./
drwxr-xr-x 47 hadoop hadoop 4096 Aug 19 21:15 ../
drwxr-xr-x  3 root   root   4096 Aug 19 21:19 gen-php/
root@m1: /home/hadoop/thrift_hbase #
　　四、PHP和Golang使用Thrift1和Thrift2访问Hbase
　　　　1) PHP基于Thrift1访问Hbase
　　#将Php用到的Thrift1包复制到thrift_hbase里面
?
1
2
3
4
5
root@m1: /home/hadoop/thrift_hbase # mkdir libphp                            
root@m1: /home/hadoop/thrift_hbase # cp -r /home/hadoop/thrift-git/lib/php/src/* libphp/
root@m1: /home/hadoop/thrift_hbase # cp -r /home/hadoop/thrift-git/lib/php/lib/Thrift libphp/
root@m1: /home/hadoop/thrift_hbase # cp -r gen-php/Hbase libphp/
root@m1: /home/hadoop/thrift_hbase # rm -rf gen-php/
　　#编写Hbase.php文件
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
<?php
/**
  * PHP基于Hbase0.96.2的Thrift1访问Hbase
  *
  * @author     迦壹
  * @copyright  Copyright (c) 2014 (http://idoall.org)
  * @license    GNU General Public License 2.0
  * @version    1
  */
  $startTime = getMillisecond();
$GLOBALS [ 'THRIFT_ROOT' ] = './libphp' ;   # 指定库目录，可以是绝对路径或是相对路径
require_once $GLOBALS [ 'THRIFT_ROOT' ]. '/Thrift/ClassLoader/ThriftClassLoader.php' ;
  
use Thrift\ClassLoader\ThriftClassLoader;
use Thrift\Type\TMessageType;
use Thrift\Type\TType;
use Thrift\Exception\TException;
use Thrift\Factory\TStringFuncFactory;
use Thrift\StringFunc\TStringFunc;
use Thrift\StringFunc\Core;
use Thrift\Protocol\TBinaryProtocol;
use Thrift\Transport\TSocket;
use Thrift\Transport\TSocketPool;
use Thrift\Transport\TBufferedTransport;
use Hbase\HbaseClient;
use Hbase\ColumnDescriptor;
use Hbase\Mutation;
 
$loader = new ThriftClassLoader();
$loader ->registerNamespace( 'Thrift' , $GLOBALS [ 'THRIFT_ROOT' ]); # 加载thrift
$loader ->register();
 
require_once ( $GLOBALS [ 'THRIFT_ROOT' ]. '/Hbase/Hbase.php' );
require_once ( $GLOBALS [ 'THRIFT_ROOT' ]. '/Hbase/Types.php' );
  
$socket = new TSocket( 'm1' , 9090 );
$socket ->setSendTimeout( 10000 ); // Ten seconds (too long for production, but this is just a demo ;)
$socket ->setRecvTimeout( 20000 ); // Twenty seconds
$transport = new TBufferedTransport( $socket );
$protocol = new TBinaryProtocol( $transport );
$client = new HbaseClient( $protocol );
 
$transport ->open();
$tmpendTime = getMillisecond();
echo "----建立连接用时:" . $tmpendTime . "-" . $startTime . "=" .( $tmpendTime - $startTime ). "毫秒\n" ;
 
//测试表的名称
$tempTableName = "idoallorg_student" ;
$tmpstartTime = getMillisecond();
$tables = $client ->getTableNames();
sort( $tables );
echo "----列出所有的Table：----\n" ;
foreach ( $tables as $name ) {
   echo ( "\tfound: {$name}\n" );
   if ( $name == $tempTableName ) {
     if ( $client ->isTableEnabled( $tempTableName )) {
       echo ( "\t表已经存在，即将关闭: {$tempTableName}\n" );
       $client ->disableTable( $tempTableName );
     }
     echo ( "\t删除表: {$tempTableName}\n" );
     $client ->deleteTable( $tempTableName );
   }
}
$tmpendTime = getMillisecond();
echo "----列出所有Table用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
 
 
echo ( "----创建表: {$tempTableName}----\n" );
$tmpstartTime = getMillisecond();
$columns = array (
   new ColumnDescriptor( array (
     'name' => 'id' ,
     'maxVersions' => 10
   ) ),
   new ColumnDescriptor( array (
     'name' => 'name:'
   ) ),
   new ColumnDescriptor( array (
     'name' => 'score:'
   ) )
);
try {
   $client ->createTable( $tempTableName , $columns );
} catch ( AlreadyExists $ae ) {
   echo ( "WARN: {$ae->message}\n" );
}
$tmpendTime = getMillisecond();
echo "----创建表: {$tempTableName}用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
 
//读取创建后的表结构
//$tmpstartTime = getMillisecond();
echo ( "----查看表结构： {$tempTableName}:----\n" );
$tmpstartTime = getMillisecond();
$descriptors = $client ->getColumnDescriptors( $tempTableName );
asort( $descriptors );
foreach ( $descriptors as $col ) {
   echo ( "\tcolumn: {$col->name}, maxVer: {$col->maxVersions}\n" );
}
 
$tmpendTime = getMillisecond();
echo "----查看表结构： {$tempTableName}用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
//
echo "----向表{$tempTableName} 中写入1条数据----\n" ;
$tmpstartTime = getMillisecond();
$row = '1' ;
$valid = "foobar-000000" ;
$valid1 = "foobar-11111111" ;
 
$mutations = array (
     new Mutation( array (
             'column' => 'id:' ,
             'value' => 1,
         )),
     new Mutation( array (
             'column' => 'score:a' ,
             'value' => $valid ,
         )),
     new Mutation( array (
             'column' => 'name:a' ,
             'value' => "idoall.org" ,
         )),
);
$client ->mutateRow( $tempTableName , $row , $mutations , null);
$tmpendTime = getMillisecond();
echo "----向表{$tempTableName} 中写入1条数据用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
//
echo "----获取刚写入的score列的数据->get----\n" ;
$tmpstartTime = getMillisecond();
$arr = $client ->get( $tempTableName , $row , "score:a" , null);
foreach ( $arr as $k => $v ) {
     // $k = TCell
     echo "\t ------ get one : value = {$v->value}\n" ;
     echo "\t ------ get one : timestamp = {$v->timestamp}\n" ;
}
$tmpendTime = getMillisecond();
echo "----获取刚写入的 score列的数据->get用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
//
echo "----获取刚写入的数据->getRow----\n" ;
$tmpstartTime = getMillisecond();
$result = $client ->getRow( $tempTableName , $row , null);
foreach ( $result as $key => $TRowResult ) {
     echo "\trowkey:$TRowResult->row\tcolumns(array):\r\n" ;
     foreach ( $TRowResult ->columns as $key => $value ) {
         echo "\t\t\tkey:$key\tvalue:$value->value\ttimestamp:$value->timestamp\n" ;
     }
}
$tmpendTime = getMillisecond();
echo "----获取刚写入的数据->getRow用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
 
//
echo "----测试更新数据----\n" ;
$tmpstartTime = getMillisecond();
try {
   $mutations = array (
     new Mutation( array (
       'column' => 'score:a' ,
       'value' => $valid1
     ) ),
   );
   $client ->mutateRow( $tempTableName , $row , $mutations , null );
} catch ( IOError $e ) {
   echo ( "expected error: {$e->message}\n" );
}
$tmpendTime = getMillisecond();
echo "----测试更新数据用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
 
echo "----批量更新10条数据----\n" ;
$tmpstartTime = getMillisecond();
$mutationsbatch = array ();
for ( $i =0; $i <10; $i ++)
{
     $rowkey = $i +10;
     $mutations = array (
         new Mutation( array (
                 'column' => 'id:int' ,
                 'value' => $i +10,
             )),
         new Mutation( array (
                 'column' => 'score:txt' ,
                 'value' => "score" . $i ,
             )),
         new Mutation( array (
                 'column' => 'name:txt' ,
                 'value' => "idoall.org" . $i ,
             )),
     );
     array_push ( $mutationsbatch , new \Hbase\BatchMutation( array ( 'row' => $rowkey , 'mutations' => $mutations )));
}
$client ->mutateRows( $tempTableName , $mutationsbatch ,null);
$tmpendTime = getMillisecond();
echo "----批量更新10条数据用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
 
echo "----scanner get scannerOpen-----\r\n" ;
$tmpstartTime = getMillisecond();
$startRow = 0;
$scan = $client ->scannerOpen( $tempTableName , $startRow , array ( 'column' => 'score' , 'column' => 'name' ), null);
$nbRows = 20;
$arr = $client ->scannerGetList( $scan , $nbRows );
echo 'count of result :' . count ( $arr ). "\n" ;
foreach ( $arr as $k => $TRowResult ) {
     echo "\trow:$TRowResult->row\tcolumns(array):" ;
     foreach ( $TRowResult ->columns as $key => $value ) {
         echo "key:$key\tvalue:$value->value\ttimestamp:$value->timestamp\n" ;
     }
}
$client ->scannerClose( $scan );
$tmpendTime = getMillisecond();
echo "----scanner get scannerOpen用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
echo "\r\n" ;
 
 
echo "----通过RowKey的范围获取数据 scannerOpenWithStop-----\r\n" ;
$tmpstartTime = getMillisecond();
$result = $client ->scannerOpenWithStop( $tempTableName , $startRow , $nbRows , array ( 'column' => 'score' , ),null);
$recordArray = array ();
while (true) {
     $record = $client ->scannerGet( $result );
     if ( $record == NULL) {
         break ;
     }
     foreach ( $record as $TRowResult ) {
         echo "\trow:$TRowResult->row\tcolumns(array):" ;
         foreach ( $TRowResult ->columns as $key => $value ) {
             echo "key:$key\tvalue:$value->value\ttimestamp:$value->timestamp\n" ;
         }
     }
}
 
$tmpendTime = getMillisecond();
echo "----通过RowKey的范围获取数据 scannerOpenWithStop用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
 
echo "\r\n" ;
 
 
//删除表
echo "----删除表 {$tempTableName}----\n" ;
$tmpstartTime = getMillisecond();
try {
     $tmpstartTime_disableTable = getMillisecond();
     $client ->disableTable( $tempTableName );
     $tmpendTime_disableTable = getMillisecond();
     echo "\t其中关闭表 {$tempTableName}用时:" . $tmpendTime_disableTable . "-" . $tmpstartTime_disableTable . "=" .( $tmpendTime_disableTable - $tmpstartTime_disableTable ). "毫秒\n" ;
     $tmpstartTime_disableTable = getMillisecond();
     $client ->deleteTable( $tempTableName );
     $tmpendTime_disableTable = getMillisecond();
     echo "\t其中删除表 {$tempTableName}用时:" . $tmpendTime_disableTable . "-" . $tmpstartTime_disableTable . "=" .( $tmpendTime_disableTable - $tmpstartTime_disableTable ). "毫秒\n" ;
} catch ( AlreadyExists $ae ) {
   echo ( "WARN: {$ae->message}\n" );
}
$tmpendTime = getMillisecond();
echo "----删除表 {$tempTableName}用时:" . $tmpendTime . "-" . $tmpstartTime . "=" .( $tmpendTime - $tmpstartTime ). "毫秒\n" ;
 
$endTime = getMillisecond();
  
  echo "\r\n" ;
echo "PHP调用 总计 用时:" . $endTime . "-" . $startTime . "=" .( $endTime - $startTime ). "毫秒\n" ;
  
function getMillisecond() {
list( $t1 , $t2 ) = explode ( ' ' , microtime());    
return (float)sprintf( '%.0f' , ( floatval ( $t1 ) + floatval ( $t2 )) * 1000); 
}
 
$transport ->close();
?>
　　#启动Hbase的Thrift，如果不了解，看下这篇文章吧，本文的环境都是基于这篇文章的《 ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分布式环境部署》
?
1
root@m1: /home/hadoop/thrift_hbase # /home/hadoop/hbase-0.96.2-hadoop2/bin/hbase-daemon.sh start thrift
　　#运行Hbase.php， 如果你也可以看到下面和我一样的提示，那么恭喜你也成功地使用PHP通过Thrift1访问到Hbase
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
root@m1: /home/hadoop/thrift_hbase # php hbase.php
----建立连接用时:1408545184136-1408545184102=34毫秒
----列出所有的Table：----
         found: demo_table
         found: hbase2hive_idoall
         found: hive2hbase_idoall
         found: test_idoall_org
----列出所有Table用时:1408545184229-1408545184136=93毫秒
 
----创建表: idoallorg_student----
----创建表: idoallorg_student用时:1408545185026-1408545184229=797毫秒
----查看表结构： idoallorg_student:----
         column: id :, maxVer: 10
         column: name:, maxVer: 3
         column: score:, maxVer: 3
----查看表结构： idoallorg_student用时:1408545185047-1408545185026=21毫秒
 
----向表idoallorg_student 中写入1条数据----
----向表idoallorg_student 中写入1条数据用时:1408545185288-1408545185047=241毫秒
 
----获取刚写入的score列的数据->get----
          ------ get one : value = foobar-000000
          ------ get one : timestamp = 1408545184901
----获取刚写入的 score列的数据->get用时:1408545185373-1408545185289=84毫秒
 
----获取刚写入的数据->getRow----
         rowkey:1        columns(array):
                         key: id : value:1 timestamp:1408545184901
                         key:name:a      value:idoall.org        timestamp:1408545184901
                         key:score:a     value:foobar-000000     timestamp:1408545184901
----获取刚写入的数据->getRow用时:1408545185383-1408545185373=10毫秒
 
----测试更新数据----
----测试更新数据用时:1408545185389-1408545185384=5毫秒
 
----批量更新10条数据----
----批量更新10条数据用时:1408545185442-1408545185389=53毫秒
 
----scanner get scannerOpen-----
count of result :11
         row:1   columns(array):key:name:a       value:idoall.org        timestamp:1408545184901
         row:10  columns(array):key:name:txt     value:idoall.org0       timestamp:1408545185053
         row:11  columns(array):key:name:txt     value:idoall.org1       timestamp:1408545185053
         row:12  columns(array):key:name:txt     value:idoall.org2       timestamp:1408545185053
         row:13  columns(array):key:name:txt     value:idoall.org3       timestamp:1408545185053
         row:14  columns(array):key:name:txt     value:idoall.org4       timestamp:1408545185053
         row:15  columns(array):key:name:txt     value:idoall.org5       timestamp:1408545185053
         row:16  columns(array):key:name:txt     value:idoall.org6       timestamp:1408545185053
         row:17  columns(array):key:name:txt     value:idoall.org7       timestamp:1408545185053
         row:18  columns(array):key:name:txt     value:idoall.org8       timestamp:1408545185053
         row:19  columns(array):key:name:txt     value:idoall.org9       timestamp:1408545185053
----scanner get scannerOpen用时:1408545185484-1408545185443=41毫秒
 
----通过RowKey的范围获取数据 scannerOpenWithStop-----
         row:1   columns(array):key:score:a      value:foobar-11111111   timestamp:1408545185003
         row:10  columns(array):key:score:txt    value:score0    timestamp:1408545185053
         row:11  columns(array):key:score:txt    value:score1    timestamp:1408545185053
         row:12  columns(array):key:score:txt    value:score2    timestamp:1408545185053
         row:13  columns(array):key:score:txt    value:score3    timestamp:1408545185053
         row:14  columns(array):key:score:txt    value:score4    timestamp:1408545185053
         row:15  columns(array):key:score:txt    value:score5    timestamp:1408545185053
         row:16  columns(array):key:score:txt    value:score6    timestamp:1408545185053
         row:17  columns(array):key:score:txt    value:score7    timestamp:1408545185053
         row:18  columns(array):key:score:txt    value:score8    timestamp:1408545185053
         row:19  columns(array):key:score:txt    value:score9    timestamp:1408545185053
----通过RowKey的范围获取数据 scannerOpenWithStop用时:1408545185536-1408545185484=52毫秒
 
----删除表 idoallorg_student----
         其中关闭表 idoallorg_student用时:1408545186819-1408545185536=1283毫秒
         其中删除表 idoallorg_student用时:1408545186974-1408545186819=155毫秒
----删除表 idoallorg_student用时:1408545186974-1408545185536=1438毫秒
 
本次调用 总计 用时:1408545186974-1408545184102=2872毫秒
　　　　2) Golang基于Thrift2访问Hbase
　　#生成Golang基于Hbase的Thrift2的接口文件
?
1
root@m1: /home/hadoop/thrift_hbase # thrift092 -r --gen go /home/hadoop/hbase-0.96.2/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift2/hbase.thrift
　　#将Thrift2生成的开发库复制到GOPATH的src中
　　#删除掉0.9.1的文件，可能作者比较匆忙，在我使用0.9.2生成Thrift2的时候，还存在Thrift1的接口，这会对我们的测试带来干扰（后来我下载thrift1.0.0 dev时发现已经删除了这个文件，如果你生成IDL后的接口文件中，不包含这个文件，可以不用删除）
?
1
2
root@m1: /home/hadoop/thrift_hbase # rm gen-go/hbase/t_h_base_service.go
root@m1: /home/hadoop/thrift_hbase # cp -r gen-go/hbase $GOPATH/src
　　#编写hbase.go文件
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
/ /
/ / Golang基于Hbase0. 96.2 的Thrift2访问Hbase
/ /
/ / @author     迦壹
/ / @copyright  Copyright (c) 2014 (http: / / idoall.org)
/ / @license    GNU General Public License 2.0
/ / @version    1
 
package main
 
import (
     "encoding/binary"
     "fmt"
     "git.apache.org/thrift.git/lib/go/thrift"
     "hbase"
     "net"
     "os"
     "reflect"
     "strconv"
     "time"
)
 
const (
     HOST       = "m1"
     PORT       = "9090"
     TESTRECORD = 10
)
 
func main() {
     startTime : = currentTimeMillis()
     logformatstr_ : = "----%s\n"
     logformatstr : = "----%s 用时:%d-%d=%d毫秒\n\n"
     logformattitle : = "建立连接"
     rowkey : = "1"
     temptable : = "test_idoall_org"
 
     protocolFactory : = thrift.NewTBinaryProtocolFactoryDefault()
 
     transport, err : = thrift.NewTSocket(net.JoinHostPort(HOST, PORT))
     if err ! = nil {
         fmt.Fprintln(os.Stderr, "error resolving address:" , err)
         os.Exit( 1 )
     }
 
     client : = hbase.NewTHBaseServiceClientFactory(transport, protocolFactory)
     if err : = transport. Open (); err ! = nil {
         fmt.Fprintln(os.Stderr, "Error opening socket to " + HOST + ":" + PORT, " " , err)
         os.Exit( 1 )
     }
     tmpendTime : = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, startTime, (tmpendTime - startTime))
     defer transport.Close()
 
     / / - - - - - - - - - - - - - - Exists
     logformattitle = "调用Exists方法"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime : = currentTimeMillis()
     / /
     isexists, err : = (client.Exists([]byte(temptable), &hbase.TGet{Row: []byte(rowkey)}))
     fmt.Printf( "rowkey{%s} in table{%s} Exists:%t\t" , rowkey, temptable, isexists)
     if err ! = nil {
         fmt.Printf( "Exists err:%s\n" , err)
     }
     fmt.Println("")
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - - - put
     logformattitle = "调用Put方法写数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     cvarr : = [] * hbase.TColumnValue{
         &hbase.TColumnValue{
             Family:    []byte( "name" ),
             Qualifier: []byte( "idoall.org" ),
             Value:     []byte( "welcome idoall.org" )}}
     temptput : = hbase.TPut{Row: []byte(rowkey), ColumnValues: cvarr}
     err = client.Put([]byte(temptable), &temptput)
     if err ! = nil {
         fmt.Printf( "Put err:%s\n" , err)
     } else {
         fmt.Println( "Put done" )
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - Get - - - - - - - - - - - - - - -
     logformattitle = "调用Get方法获取新增加的数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     / /
     result, err : = (client.Get([]byte(temptable), &hbase.TGet{Row: []byte(rowkey)}))
     if err ! = nil {
         fmt.Printf( "Get err:%s\n" , err)
     } else {
         fmt.Println( "Rowkey:" + string(result.Row))
         for _, cv : = range result.ColumnValues {
             printscruct(cv)
         }
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - - - put update
     logformattitle = "调用Put update方法'修改'数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     cvarr = [] * hbase.TColumnValue{
         &hbase.TColumnValue{
             Family:    []byte( "name" ),
             Qualifier: []byte( "idoall.org" ),
             Value:     []byte( "welcome idoall.org---update" )}}
     temptput = hbase.TPut{Row: []byte(rowkey), ColumnValues: cvarr}
     err = client.Put([]byte(temptable), &temptput)
     if err ! = nil {
         fmt.Printf( "Put update err:%s\n" , err)
     } else {
         fmt.Println( "Put update done" )
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - Get  update - - - - - - - - - - - - - - -
     logformattitle = "调用Get方法获取'修改'后的数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     / /
     result, err = (client.Get([]byte(temptable), &hbase.TGet{Row: []byte(rowkey)}))
     if err ! = nil {
         fmt.Printf( "Get update err:%s\n" , err)
     } else {
         fmt.Println( "update Rowkey:" + string(result.Row))
         for _, cv : = range result.ColumnValues {
             printscruct(cv)
         }
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - DeleteSingle - - - - - - - - - - - -
     logformattitle = "调用DeleteSingle方法删除一条数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     tdelete : = hbase.TDelete{Row: []byte(rowkey)}
     err = client.DeleteSingle([]byte(temptable), &tdelete)
     if err ! = nil {
         fmt.Printf( "DeleteSingle err:%s\n" , err)
     } else {
         fmt.Printf( "DeleteSingel done\n" )
     }
 
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - - PutMultiple - - - - - - - - - - - - - - - -
     logformattitle = "调用PutMultiple方法添加" + strconv.Itoa(TESTRECORD) + "条数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
 
     var tputArr [] * hbase.TPut
     for i : = 0 ; i < TESTRECORD; i + + {
         putrowkey : = strconv.Itoa(i)
 
         tputArr = append(tputArr, &hbase.TPut{
             Row: []byte(putrowkey),
             ColumnValues: [] * hbase.TColumnValue{
                 &hbase.TColumnValue{
                     Family:    []byte( "name" ),
                     Qualifier: []byte( "idoall.org" ),
                     Value:     []byte(time.Now().String())}}})
     }
 
     err = client.PutMultiple([]byte(temptable), tputArr)
     if err ! = nil {
         fmt.Printf( "PutMultiple err:%s\n" , err)
     } else {
         fmt.Printf( "PutMultiple done\n" )
     }
 
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - - - - - - - GetMultiple - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
     logformattitle = "调用GetMultiple方法获取" + strconv.Itoa(TESTRECORD) + "数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     / /
     var tgets [] * hbase.TGet
     for i : = 0 ; i < TESTRECORD; i + + {
         putrowkey : = strconv.Itoa(i)
         tgets = append(tgets, &hbase.TGet{
             Row: []byte(putrowkey)})
     }
     results, err : = client.GetMultiple([]byte(temptable), tgets)
     if err ! = nil {
         fmt.Printf( "GetMultiple err:%s" , err)
     } else {
         fmt.Printf( "GetMultiple Count:%d\n" , len (results))
         for _, k : = range results {
             fmt.Println( "Rowkey:" + string(k.Row))
             for _, cv : = range k.ColumnValues {
                 printscruct(cv)
             }
         }
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
     / / - - - - - - - - - - - - - - - - - - - TMutation
     / / TMutation包含一个TGet一个TPut，就不做测试了
     / / 可以和MutateRow结合使用
     / /
 
     / / - - - - - - - - - - - - - - - - - - - OpenScanner
     logformattitle = "调用OpenScanner方法"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     startrow : = make([]byte, 4 )
     binary.LittleEndian.PutUint32(startrow, 1 )
     stoprow : = make([]byte, 4 )
     binary.LittleEndian.PutUint32(stoprow, 10 )
 
     scanresultnum, err : = client.OpenScanner([]byte(temptable), &hbase.TScan{
         StartRow: startrow,
         StopRow:  stoprow,
         / /     FilterString: []byte( "RowFilter(=, 'regexstring:00[1-3]00')" ),
         / /     FilterString: []byte( "PrefixFilter('1407658495588-')" ),
         Columns: [] * hbase.TColumn{
             &hbase.TColumn{
                 Family:    []byte( "name" ),
                 Qualifier: []byte( "idoall.org" )}}})
     if err ! = nil {
         fmt.Printf( "OpenScanner err:%s\n" , err)
     } else {
         fmt.Printf( "OpenScanner %d done\n" , scanresultnum)
 
         scanresult, err : = client.GetScannerRows(scanresultnum, 100 )
         if err ! = nil {
             fmt.Printf( "GetScannerRows err:%s\n" , err)
         } else {
             fmt.Printf( "GetScannerRows %d done\n" , len (scanresult))
             for _, k : = range scanresult {
                 fmt.Println( "scan Rowkey:" + string(k.Row))
                 for _, cv : = range k.ColumnValues {
                     printscruct(cv)
                 }
             }
         }
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - closescanner
     logformattitle = "调用CloseScanner方法"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     err = client.CloseScanner(scanresultnum)
     if err ! = nil {
         fmt.Printf( "CloseScanner err:%s\n" , err)
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - - - - - - - - GetScannerResults
 
     logformattitle = "调用GetScannerResults方法"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis() / /
     gsr, err : = client.GetScannerResults([]byte(temptable), &hbase.TScan{
         StartRow: startrow,
         StopRow:  stoprow,
         / /     FilterString: []byte( "RowFilter(=, 'regexstring:00[1-3]00')" ),
         / /     FilterString: []byte( "PrefixFilter('1407658495588-')" ),
         Columns: [] * hbase.TColumn{
             &hbase.TColumn{
                 Family:    []byte( "name" ),
                 Qualifier: []byte( "idoall.org" )}}}, 100 )
     if err ! = nil {
         fmt.Printf( "GetScannerResults err:%s\n" , err)
     } else {
         fmt.Printf( "GetScannerResults %d done\n" , len (gsr))
         for _, k : = range gsr {
             fmt.Println( "scan Rowkey:" + string(k.Row))
             for _, cv : = range k.ColumnValues {
                 printscruct(cv)
             }
         }
     }
 
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     / / - - - - - - - - - - - - - - - DeleteMultiple - - - - - - - - - - - - - -
     logformattitle = "调用DeleteMultiple方法删除" + strconv.Itoa(TESTRECORD) + "数据"
     fmt.Printf(logformatstr_, logformattitle)
     tmpstartTime = currentTimeMillis()
     var tdelArr [] * hbase.TDelete
     for i : = 0 ; i < TESTRECORD; i + + {
         putrowkey : = strconv.Itoa(i)
         tdelArr = append(tdelArr, &hbase.TDelete{
             Row: []byte(putrowkey)})
     }
     r, err : = client.DeleteMultiple([]byte(temptable), tdelArr)
     if err ! = nil {
         fmt.Printf( "DeleteMultiple err:%s\n" , err)
     } else {
         fmt.Printf( "DeleteMultiple %d done\n" , TESTRECORD)
         fmt.Println(r)
     }
     tmpendTime = currentTimeMillis()
     fmt.Printf(logformatstr, logformattitle, tmpendTime, tmpstartTime, (tmpendTime - tmpstartTime))
 
     endTime : = currentTimeMillis()
     fmt.Printf( "\nGolang调用总计用时:%d-%d=%d毫秒\n" , endTime, startTime, (endTime - startTime))
}
 
func printscruct(cv interface{}) {
     switch reflect.ValueOf(cv).Interface().( type ) {
     case * hbase.TColumnValue:
         s : = reflect.ValueOf(cv).Elem()
         typeOfT : = s. Type ()
         / / 获取Thrift2中struct的field
         for i : = 0 ; i < s.NumField(); i + + {
             f : = s.Field(i)
             fileldformatstr : = "\t%d: %s(%s)= %v\n"
             switch f.Interface().( type ) {
             case []uint8:
                 fmt.Printf(fileldformatstr, i, typeOfT.Field(i).Name, f. Type (), string(f.Interface().([]uint8)))
             case * int64:
                 var tempint64 int64
                 if f.Interface().( * int64) = = nil {
                     tempint64 = 0
                 } else {
                     tempint64 = * f.Interface().( * int64)
                 }
                 fmt.Printf(fileldformatstr, i, typeOfT.Field(i).Name, f. Type (), tempint64)
             default:
                 fmt.Printf( "I don't know" )
             }
         }
     default:
         fmt.Printf( "I don't know" )
         fmt. Print (reflect.ValueOf(cv))
     }
 
}
 
func currentTimeMillis() int64 {
     return time.Now().UnixNano() / 1000000
}
　　#在hbase创建一个测试表“test_idoall_org”,用于使用Golang基于Thrift2的客户端来测试，因为Thrift2并没有提供创建和删除表的方法
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
root@m1:/home/hadoop# /home/hadoop/hbase-0.96.2-hadoop2/bin/hbase shell
2014-07-27 09:31:07,601 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.96.2-hadoop2, r1581096, Mon Mar 24 16:03:18 PDT 2014
hbase(main):001:0> list
TABLE                                                                                                                                                                                                                 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/hbase-0.96.2-hadoop2/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop-2.2.0/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
0 row(s) in 2.8030 seconds
=> []
hbase(main):002:0> version
0.96.2-hadoop2, r1581096, Mon Mar 24 16:03:18 PDT 2014
hbase(main):003:0> status
2 servers, 0 dead, 1.0000 average load
hbase(main):004:0> create 'test_idoall_org','uid','name'
0 row(s) in 0.5800 seconds
=> Hbase::Table - test_idoall_org
hbase(main):005:0> list
TABLE                                                                                                                                                                                                                 
test_idoall_org                                                                                                                                                                                                       
1 row(s) in 0.0320 seconds
=> ["test_idoall_org"]
hbase(main):006:0> put 'test_idoall_org','10086','name:idoall','idoallvalue'
0 row(s) in 0.1090 seconds                 ^
hbase(main):009:0> get 'test_idoall_org','10086'
COLUMN                                                 CELL                                                                                                                                                           
  name:idoall                                           timestamp=1406424831473, value=idoallvalue                                                                                                                     
1 row(s) in 0.0450 seconds
hbase(main):010:0> scan 'test_idoall_org'
ROW                                                    COLUMN+CELL                                                                                                                                                    
  10086                                                 column=name:idoall, timestamp=1406424831473, value=idoallvalue                                                                                                 
1 row(s) in 0.0620 seconds
hbase(main):011:0>
 
　　#启动Hbase的Thrift2
?
1
2
3
4
5
6
7
8
9
10
11
12
13
root@m1: /home/hadoop/thrift_hbase # /home/hadoop/hbase-0.96.2-hadoop2/bin/hbase-daemon.sh start thrift2
#在这里可以看到thrift2的日志记录到下面的路径中
starting thrift2, logging to /home/hadoop/hbase-0 .96.2-hadoop2 /bin/ .. /logs/hbase-root-thrift2-m1 .out
root@m1: /home/hadoop/thrift_hbase # jps
5705 Main
3614 ResourceManager
9426 HMaster
9944 Jps
3844 DFSZKFailoverController
9679 ThriftServer
2773 QuorumPeerMain
2944 JournalNode
root@m1: /home/hadoop/thrift_hbase #
　　#运行基于Thrift2的Golang客户端，在之前要先确保hbase已经打开，在浏览器输入：http://m1:60010/master-status,可以看到下图效果，如果看不到，去调试下hbase吧，还没有启动~~~：

 
　　#运行hbase.go， 如果你看到和我一样的提示信息，再次恭喜你我们的Golang也可以正常访问到Hbase了。
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
root@m1: /home/hadoop/thrift_hbase # go run hbase.go
----建立连接 用时:1408639700869-1408639700867=2毫秒
 
----调用Exists方法
rowkey{1} in table{test_idoall_org} Exists: false
----调用Exists方法 用时:1408639700894-1408639700869=25毫秒
 
----调用Put方法写数据
Put done
----调用Put方法写数据 用时:1408639700905-1408639700894=11毫秒
 
----调用Get方法获取新增加的数据
Rowkey:1
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= welcome idoall.org
         3: Timestamp(*int64)= 1408639700843
----调用Get方法获取新增加的数据 用时:1408639700909-1408639700905=4毫秒
 
----调用Put update方法 '修改' 数据
Put update done
----调用Put update方法 '修改' 数据 用时:1408639700916-1408639700909=7毫秒
 
----调用Get方法获取 '修改' 后的数据
update Rowkey:1
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= welcome idoall.org---update
         3: Timestamp(*int64)= 1408639700858
----调用Get方法获取 '修改' 后的数据 用时:1408639700918-1408639700916=2毫秒
 
----调用DeleteSingle方法删除一条数据
DeleteSingel done
----调用DeleteSingle方法删除一条数据 用时:1408639700931-1408639700918=13毫秒
 
----调用PutMultiple方法添加10条数据
PutMultiple done
----调用PutMultiple方法添加10条数据 用时:1408639700941-1408639700931=10毫秒
 
----调用GetMultiple方法获取10数据
GetMultiple Count:10
Rowkey:0
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931138625 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:1
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931689108 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:2
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931691688 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:3
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931693392 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:4
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931694819 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:5
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931696588 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:6
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931698745 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:7
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931700279 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:8
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931702153 +0800 CST
         3: Timestamp(*int64)= 1408639700881
Rowkey:9
         0: Family([]uint8)= name
         1: Qualifier([]uint8)= idoall.org
         2: Value([]uint8)= 2014-08-22 00:48:20.931704203 +0800 CST
         3: Timestamp(*int64)= 1408639700881
----调用GetMultiple方法获取10数据 用时:1408639700950-1408639700941=9毫秒
 
----调用OpenScanner方法
OpenScanner 23 done
GetScannerRows 0 done
----调用OpenScanner方法 用时:1408639700956-1408639700950=6毫秒
 
----调用CloseScanner方法
----调用CloseScanner方法 用时:1408639700957-1408639700956=1毫秒
 
----调用GetScannerResults方法
GetScannerResults 0 done
----调用GetScannerResults方法 用时:1408639700961-1408639700958=3毫秒
 
----调用DeleteMultiple方法删除10数据
DeleteMultiple 10 done
[]
----调用DeleteMultiple方法删除10数据 用时:1408639700967-1408639700961=6毫秒
 
 
root@m1: /home/hadoop/thrift_hbase #
五、常见问题
　　　　1) 并发访问线程数
首先，为了尽可能减少由于网络传输带来的时间开销，HBase的Thrift Server最好和应用客户端部署在同一台机器上。Thrift Server启动时可以通过参数配置并发线程数，否则很容易导致Thrift Server线程满了不响应客户端的读写请求，具体命令：/home/hadoop/hbase-0.96.2-hadoop2/bin/hbase- daemon.sh start thrift –threadpool -m 200 -w 500（更多参数参考这里：/home/hadoop/hbase-0.96.2-hadoop2/bin/hbase-daemon.sh start thrift -h）。
 
　　　　2) 最大堆内存配置
如果客户端与Thrift Server进行scan操作顺序读取数据，而且设置了一定的cache记录条数（通过TScan的int32_t caching变量设置），那么这些被caching的记录数可能会占用Thrift Server相当部分的堆内存，尤其在多客户端并发访问时更明显。
　　因此，在Thrift Server启动前，可以调大最大堆内存，否则可 能由于java.lang.OutOfMemoryError异常而导致进程被杀掉，尤其是当Scan时设置了较大的caching记录条数的情况（默认为expor t HBASE_HEAPSIZE=1000MB，可以在 /home/hadoop/hbase-0.96.2-hadoop2/hbase- env.sh中设置）。
 
　　六、扩展阅读


-------- -------------------------------
博文作者：迦壹
转载声明：可以转载, 但必须以超链接形式标 明文章原始出处和作者信息及版权声明，谢谢合作！
---------------------------------------
 
 
Golang调用总计用时:1408639700967-1408639700867=100毫秒

你可能感兴趣的:(ubuntu)

  • 在一台Ubuntu计算机上构建Hyperledger Fabric网络 落叶无声9 区块链超级账本Hyperledgerfabric区块链ubuntu构建hyperledgerfabric
    在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
  • 在Ubuntu中编译含有JSON的文件出现报错 芝麻糊76 Linuxkill_buglinuxubuntujson
    在ubuntu中进行JSON相关学习的时候，我发现了一些小问题，决定与大家进行分享，减少踩坑时候出现不必要的时间耗费截取部分含有JSON部分的代码进行展示char*str="{\"title\":\"JSONExample\",\"author\":{\"name\":\"JohnDoe\",\"age\":35,\"isVerified\":true},\"tags\":[\"json\",\"
  • ExpRe[25] bash外的其它shell：zsh和fish tritone ExpRebashlinuxubuntushell
    文章目录zsh基础配置实用特性插件`autojump`语法高亮自动补全fish优点缺点时效性本篇撰写时间为2021.12.15，由于计算机技术日新月异，博客中所有内容都有时效和版本限制，具体做法不一定总行得通，链接可能改动失效，各种软件的用法可能有修改。但是其中透露的思想往往是值得学习的。本篇前置：ExpRe[10]Ubuntu[2]准备神秘软件、备份恢复软件https://www.cnblogs
  • ubuntu安装wordpress lissettecarlr
    1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
  • Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
    1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
  • ubuntu22.04环境中安装pylint 歪歪的酒壶 pythonlinux开发语言
    ubuntu22.04环境中安装pylintsudoapt-getinstallpython3-pipsudoaptitudeinstallpython3-pipsudopipinstallpylintsudoapt-getinstallpython3-pip在安装pylint的时候，需要使用pip命令，在ubuntu22.04环境中命令如下：$sudoapt-getinstallpython3-
  • 使用selenium调用firefox提示Profile Missing的问题解决 歪歪的酒壶 selenium测试工具python
    在Ubuntu22.04环境中，使用python3运行selenium提示ProfileMissing，具体信息为：YourFirefoxprofilecannotbeloaded.Itmaybemissingorinaccessible在这个问题的环境中firefox浏览器工作正常。排查中，手动在命令行执行firefox可以打开浏览器，但是出现如下提示Gtk-Message:15:32:09.9
  • ubuntu安装opencv最快的方法 Derek重名了
    最快方法，当然不能太多文字$sudoapt-getinstallpython-opencv借助python就可以把ubuntu的opencv环境搞起来，非常快非常容易参考：https://docs.opencv.org/trunk/d2/de6/tutorial_py_setup_in_ubuntu.html
  • Ubuntu常用命令整理 十里染林
    ubuntu16.04server开启ssh:使用x-shell连接主机，发现22端口没有打开，开启ssh服务：安装openssh-serversudoapt-getinstallopenssh-server检查安装是否成功sudops-e|grepssh开启ssh服务sudoservicesshstartUbuntu开启/关闭防火墙:开启防火墙sudoufwenable关闭防火墙sudoufwd
  • 如何利用Samba跨平台分享Ubuntu文件夹 GottenZZP 部署相关ubuntulinux运维
    1.安装Samba终端输入sudoaptinstallsamba2.配置Samba终端输入sudovim/etc/samba/smb.conf打开配置文件滑动文件到最底下输入以下内容[Share]#要共享的文件夹路径path=/home/xxx/sambasharereadonly=nobrowsable=yes编辑完成后按一下Esc按键后输入:wq回车保存3.重启Samba服务终端输入sudos
  • Ubuntu Juju 与 Ansible的区别 xidianjiapei001 #Kubernetesubuntuansiblelinux云原生Juju
    JujuandAnsiblearebothpowerfultoolsusedformanagingandorchestratingITinfrastructureandapplications,buttheyhavedifferentapproachesandusecases.Here’sabreakdownofthekeydifferencesbetweenthem:1.ConceptualFo
  • linux简单安装gcc和gdb chn-zgq Linuxlinuxubuntu
    linux安装gcc以及环境配置和gdb安装gcc-10.0添加源:sudoadd-apt-repositoryppa:ubuntu-toolchain-r/ppa更新源:sudoaptupdate下载gcc:sudoaptinstallgcc-10g++-10默认GCC版本设置为gcc-10.0:sudoupdate-alternatives--install/usr/bin/gccgcc/us
  • 【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
    现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
  • OrangePi5 RK3588本地部署基于Cesium的WebGL应用 vinlandtech webgl
    基于OranglePi5平台，本地部署WebGIS应用步骤：1、下载oranglepi5ubuntu22.04镜像，按用户手册进行烧写。链接：https://pan.baidu.com/s/1g-TO3DeIl1M1JfAPHbCyxg提取码：vlzt2、下载安装WebGL工具包。该软件包针对RK3588WebGL应用进行一定优化。链接：https://pan.baidu.com/s/1jP__h
  • OpenCV结构分析与形状描述符（24）检测两个旋转矩形之间是否相交的一个函数rotatedRectangleIntersection()的使用 jndingxin OpenCVopencv人工智能计算机视觉
    操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述测两个旋转矩形之间是否存在交集。如果存在交集，则还返回交集区域的顶点。下面是一些交集配置的例子。斜线图案表示交集区域，红色顶点是由函数返回的。rotatedRectangleIntersection()这个函数看起来像是用于检测两个旋转矩形之间是否相交的一个方法。
  • 如何在麒麟操作系统中限制SSH远程登录而不影响FTP Seal^_^ 国产化#麒麟OSssh运维国产化操作系统SSH
    如何在麒麟操作系统中限制SSH远程登录而不影响FTP1、禁止SSH远程登录1.1禁止Root用户1.2禁止特定用户1.3禁止特定用户组2、重启SSHD服务3、注意事项TheBegin点点关注，收藏不迷路在服务器管理中，出于安全考虑，我们经常需要限制特定用户或用户组通过SSH远程登录服务器，但同时保持FTP等服务的正常使用不受影响。本文将详细介绍在麒麟操作系统（假设基于Linux，类似于Ubuntu
  • ceph KVM使用rbd做存储 SkTj
    博客：https://blog.csdn.net/bobpen/article/details/40112939博客：http://www.aboutyun.com/thread-13195-1-1.html导言很多cepher都会使用RBD块存储功能，下面介绍qemu-kvm访问RBD的方法。操作目前Ubuntu14.04.x和CentOS7.1(如使用CentOS7建议升级到7.1，CentO
  • 树莓派交叉编译基础操作（带wiringPi库） 小小匠IT 树莓派linuxubuntu
    一：交叉编译是什么，为什么要交叉编译（1）交叉编译是什么？交叉编译：是在一个平台上生成另一个平台上的可执行代码。我们在windows上面编写C51代码，并编译成可执行代码，如xx.hex,是在c51上面运行，不是在windows上面运行我们在ubuntu上面编写树莓派的代码，并编译成可执行代码，如a.out,是在树莓派上面运行，不是在ubuntulinux上面运行编译：是在一个平台上生成在该平台上
  • 【Linux 从基础到进阶】Kubernetes 集群搭建与管理 爱技术的小伙子 Linux从基础到进阶linuxkubernetes运维
    Kubernetes集群搭建与管理Kubernetes（简称K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。它提供了容器编排功能，能够管理大量的容器实例，并支持应用的自动扩展、高可用性和自愈能力。本文将详细介绍如何在CentOS和Ubuntu系统上安装和配置Kubernetes集群，并讲解Kubernetes的基本概念和管理操作。1.Kubernetes基础概念在了解如何搭建Ku
  • 内网穿透之EW使用、判断服务器是否出网 板栗妖怪 学习内网渗透
    环境搭建使用的是下面文章的环境记一次学习--内网穿透-CSDN博客ew代理然后同样通过thinkphp漏洞写入文件，然后通过蚁剑连接然后上传ew的Linux版本，然后加权执行一层代理正向代理设置正向代理（在ubuntu上），然后kali在proxychain配置文件中连接ubuntu的192.168.244.154的代理端口反向代理在ubuntu上设置反向代理，将连接反弹到kali上的某个端口。然
  • Linux网络服务配置：从基础到高级 M78NB666 linux运维服务器
    一、网络服务配置基础1.网络接口配置Linux系统中，网络接口的配置通常通过/etc/network/interfaces文件（Debian/Ubuntu）或/etc/sysconfig/network-scripts/ifcfg-文件（RedHat/CentOS）来完成。配置内容包括IP地址、子网掩码、网关等。2.DNS配置DNS配置通常在/etc/resolv.conf文件中设置，包括指定DN
  • 【Linux 从基础到进阶】Puppet配置管理工具使用 爱技术的小伙子 Linux从基础到进阶linuxpuppet运维
    Puppet配置管理工具使用Puppet是一种开源的配置管理工具，广泛用于自动化管理和配置服务器。它通过声明式的语言定义系统状态，能够跨多台服务器实现一致性配置。Puppet对运维团队来说，是一种强大的工具，能够有效管理服务器配置并简化操作复杂性。本文将详细介绍Puppet的核心概念、安装步骤、以及如何在CentOS和Ubuntu系统上进行配置和管理。1.Puppet的核心概念在使用Puppet之
  • ubuntu美化 BGLB
    先来美化完成的几张图诱惑一下主要做一下记录系统环境：1、ubuntu18.042、VMware143、美化需要的主题和icon百度云自取链接：https://pan.baidu.com/s/1Om8ntCJHm7341a0ZC-emiQ提取码：4axn正式开始美化建议直接使用root登陆ubuntu系统方便第一步首先要先安装相应的工具：TweakTool中文名叫优化英文名叫gnome-tweak-
  • Ubuntu系统入门指南：常用命令详解 像风一样自由2020 ubuntuubuntulinux运维
    Ubuntu系统入门指南：常用命令详解引言Ubuntu是一个基于Linux内核的开源操作系统，由Canonical公司和社区共同开发和维护。它以易用性、稳定性和广泛的软件支持而著称，广泛应用于个人电脑、服务器和云计算环境。对于新手来说，掌握Ubuntu的基本命令行操作可以大大提高工作效率和系统管理能力。Ubuntu通常每六个月发布一个新版本，每两年会推出一个长期支持（LTS）版本，提供五年的安全更
  • 记录：在ubuntu中以C语言实现json文件读取遇到的问题（1）（说不定会有2） fighting_dou ubuntuc++
    [4.12]记录在ubuntu中以C语言实现json文件读取遇到的问题（1）（说不定会有2）(暂记录遇到的问题及解决，其中还有些原因没有搞明白）1.首先过程参考自一位大佬的博文（目前找到的c语言解析json文件很详细的博文了，感谢博主！）：https://blog.csdn.net/qq_35522096/article/details/115358647?utm_medium=distribut
  • Ubuntu虚拟机在node命令行中编译.sol文件报错：{“errors“:[{“component“:“general“,“formattedMessage“...（已解决） 拔牙不打麻药 疑难杂症区块链虚拟机node
    Ubuntu虚拟机在node命令行下编译.sol文件报错'{"errors":[{"component":"general","formattedMessage":"*Line1,Column1\\nSyntaxerror:value,objectorarrayexpected.\\n*Line1,Column2\\nExtranon-whitespaceafterJSONvalue.\\n","
  • linux json编译报错 nancynull c++Linuxlinuxc++编译
    背景：ubuntu16.04，使用apt-get安装过jsoncpp问题一：编译时报找不到json.h问题二：编译.so时，提示/usr/bin/ld:cannotfind-ljson解决方案：https://stackoverflow.com/questions/36861355/fatal-error-with-jsoncpp-while-compiling具体翻译如下：针对问题一：修改#in
  • Ansible简单部署与使用 大哥您好 Linuxansible数据库运维linux
    目录环境安装Ansibleaptinstallmarkupsafeerror配置Ansible创建个人目录ansible.cfghosts测试Ansibleping批量执行自定义命令环境Ubuntu20.04安装Ansibleaptinstallsudoaptinstallansiblemarkupsafeerror安装成功后，尝试运行ansible，部分环境下会有如下报错：ubuntu@ubun
  • ubuntu16 jsoncpp1.9编译及使用 noscallion ubuntujsonc++
    文章目录前言1.下载jsoncpp2.解压并安装3.编译4.使用（1）创建项目文件夹，编写main.cpp文件。如下：（2）新建一个config.json的json文件：（3）创建CMakeLists.txt文件，内容如下：（4）新建build文件夹后记前言网上现有教程存在各种问题，比如jsoncpp是很老的版本。直接运行高版本安装包中提供的python脚本，在使用时会导致链接库等问题。使用CMa
  • SAM2跑通（Ubuntu20.04)内含安装多个cuda 好好607 pytorchlinux
    参考链接：github链接安装cuda，之前借鉴的方法安装多个cuda补充cuda安装：Asymlinkalreadyexistsat/usr/local/cuda.Updatetothisinstallation?选择no，否则会创建一个软连接覆盖之前那个/usr/local/cudasudogedit~/.bashrc如果按第二个链接安装的cuda，手动改一下版本即可SAM环境安装步骤除了本地
  • PHP如何实现二维数组排序？ IT独行者 二维数组PHP排序　
    二维数组在PHP开发中经常遇到，但是他的排序就不如一维数组那样用内置函数来的方便了，（一维数组排序可以参考本站另一篇文章【PHP中数组排序函数详解汇总】）。二维数组的排序需要我们自己写函数处理了，这里UncleToo给大家分享一个PHP二维数组排序的函数： 代码： functionarray_sort($arr,$keys,$type='asc'){ $keysvalue= $new_arr
  • 【Hadoop十七】HDFS HA配置 bit1129 hadoop
    基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。   测试环境有三台 hadoop.master hadoop.slave1 hadoop.slave2   hadoop.master包含的组件NameNode, JournalNode, Zookeeper，DFSZKFailoverController
  • 由wsdl生成的java vo类不适合做普通java vo darrenzhu VOwsdlwebservicerpc
    开发java webservice项目时，如果我们通过SOAP协议来输入输出，我们会利用工具从wsdl文件生成webservice的client端类，但是这里面生成的java data model类却不适合做为项目中的普通java vo类来使用，当然有一中情况例外，如果这个自动生成的类里面的properties都是基本数据类型，就没问题，但是如果有集合类，就不行。原因如下： 1)使用了集合如Li
  • JAVA海量数据处理之二（BitMap） 周凡杨 java算法bitmapbitset数据
           路漫漫其修远兮，吾将上下而求索。想要更快，就要深入挖掘 JAVA 基础的数据结构，从来分析出所编写的 JAVA 代码为什么把内存耗尽，思考有什么办法可以节省内存呢？ 啊哈！算法。这里采用了 BitMap 思想。   首先来看一个实验： 指定 VM 参数大小： -Xms256m -Xmx540m
  • java类型与数据库类型 g21121 java
    很多时候我们用hibernate的时候往往并不是十分关心数据库类型和java类型的对应关心，因为大多数hbm文件是自动生成的，但有些时候诸如：数据库设计、没有生成工具、使用原始JDBC、使用mybatis(ibatIS)等等情况，就会手动的去对应数据库与java的数据类型关心，当然比较简单的数据类型即使配置错了也会很快发现问题，但有些数据类型却并不是十分常见，这就给程序员带来了很多麻烦。 &nb
  • Linux命令 510888780 linux命令
    系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示C
  • java常用JVM参数 墙头上一根草 javajvm参数
    -Xms：初始堆大小，默认为物理内存的1/64(<1GB)；默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制 -Xmx：最大堆大小，默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制 -Xmn：新生代的内存空间大小，注意：此处的大小是（eden+ 2
  • 我的spring学习笔记9-Spring使用工厂方法实例化Bean的注意点 aijuans Spring 3
    方法一： <bean id="musicBox" class="onlyfun.caterpillar.factory.MusicBoxFactory" factory-method="createMusicBoxStatic"></bean> 方法二：
  • mysql查询性能优化之二 annan211 UNIONmysql查询优化索引优化
    1 union的限制 有时mysql无法将限制条件从外层下推到内层，这使得原本能够限制部分返回结果的条件无法应用到内层 查询的优化上。 如果希望union的各个子句能够根据limit只取部分结果集，或者希望能够先排好序在 合并结果集的话，就需要在union的各个子句中分别使用这些子句。 例如 想将两个子查询结果联合起来，然后再取前20条记录，那么mys
  • 数据的备份与恢复 百合不是茶 oraclesql数据恢复数据备份
     数据的备份与恢复的方式有: 表,方案 ,数据库;     数据的备份: 导出到的常见命令; 参数 说明 USERID 确定执行导出实用程序的用户名和口令 BUFFER 确定导出数据时所使用的缓冲区大小，其大小用字节表示 FILE 指定导出的二进制文
  • 线程组 bijian1013 java多线程threadjava多线程线程组
    有些程序包含了相当数量的线程。这时，如果按照线程的功能将他们分成不同的类别将很有用。        线程组可以用来同时对一组线程进行操作。        创建线程组：ThreadGroup g = new ThreadGroup(groupName);  &nbs
  • top命令找到占用CPU最高的java线程 bijian1013 javalinuxtop
    上次分析系统中占用CPU高的问题，得到一些使用Java自身调试工具的经验，与大家分享。 (1)使用top命令找出占用cpu最高的JAVA进程PID:28174 (2)如下命令找出占用cpu最高的线程 top -Hp 28174 -d 1 -n 1 32694 root 20 0 3249m 2.0g 11m S 2 6.4 3:31.12 java
  • 【持久化框架MyBatis3四】MyBatis3一对一关联查询 bit1129 Mybatis3
      当两个实体具有1对1的对应关系时，可以使用One-To-One的进行映射关联查询   One-To-One示例数据 以学生表Student和地址信息表为例，每个学生都有都有1个唯一的地址(现实中，这种对应关系是不合适的，因为人和地址是多对一的关系)，这里只是演示目的   学生表   CREATE TABLE STUDENTS (
  • C/C++图片或文件的读写 bitcarter 写图片
    先看代码： /*strTmpResult是文件或图片字符串 * filePath文件需要写入的地址或路径 */ int writeFile(std::string &strTmpResult,std::string &filePath) { int i,len = strTmpResult.length(); unsigned cha
  • nginx自定义指定加载配置 ronin47
    进入 /usr/local/nginx/conf/include 目录，创建 nginx.node.conf 文件，在里面输入如下代码： upstream nodejs { server 127.0.0.1:3000; #server 127.0.0.1:3001; keepalive 64; } server { liste
  • java-71-数值的整数次方.实现函数double Power(double base, int exponent)，求base的exponent次方 bylijinnan double
    public class Power { /** *Q71-数值的整数次方 *实现函数double Power(double base, int exponent)，求base的exponent次方。不需要考虑溢出。 */ private static boolean InvalidInput=false; public static void main(
  • Android四大组件的理解 Cb123456 android四大组件的理解
     分享一下，今天在Android开发文档-开发者指南中看到的:                            App components are the essential building blocks of an Android
  • [宇宙与计算]涡旋场计算与拓扑分析 comsci 计算
         怎么阐述我这个理论呢？ 。。。。。。。。。       首先： 宇宙是一个非线性的拓扑结构与涡旋轨道时空的统一体。。。。       我们要在宇宙中寻找到一个适合人类居住的行星，时间非常重要，早一个刻度和晚一个刻度，这颗行星的
  • 同一个Tomcat不同Web应用之间共享会话Session cwqcwqmax9 session
    实现两个WEB之间通过session 共享数据 查看tomcat 关于 HTTP Connector 中有个emptySessionPath 其解释如下： If set to true, all paths for session cookies will be set to /. This can be useful for portlet specification impleme
  • springmvc Spring3 MVC，ajax，乱码 dashuaifu springjquerymvcAjax
      springmvc Spring3 MVC @ResponseBody返回，jquery ajax调用中文乱码问题解决   Spring3.0 MVC @ResponseBody 的作用是把返回值直接写到HTTP response body里。具体实现AnnotationMethodHandlerAdapter类handleResponseBody方法，具体实
  • 搭建WAMP环境 dcj3sjt126com wamp
    这里先解释一下WAMP是什么意思。W:windows，A：Apache，M：MYSQL，P：PHP。也就是说本文说明的是在windows系统下搭建以apache做服务器、MYSQL为数据库的PHP开发环境。      工欲善其事，必须先利其器。因为笔者的系统是WinXP，所以下文指的系统均为此系统。笔者所使用的Apache版本为apache_2.2.11-
  • yii2 使用raw http request dcj3sjt126com http
    Parses a raw HTTP request using yii\helpers\Json::decode()   To enable parsing for JSON requests you can configure yii\web\Request::$parsers using this class: 'request' =&g
  • Quartz-1.8.6 理论部分 eksliang quartz
    转载请出自出处：http://eksliang.iteye.com/blog/2207691 一.概述 基于Quartz-1.8.6进行学习，因为Quartz2.0以后的API发生的非常大的变化，统一采用了build模式进行构建； 什么是quartz?   答：简单的说他是一个开源的java作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制。并且还能和Sp
  • 什么是POJO？ gupeng_ie javaPOJO框架Hibernate
    POJO--Plain Old Java Objects(简单的java对象)   POJO是一个简单的、正规Java对象，它不包含业务逻辑处理或持久化逻辑等，也不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。   POJO对象有时也被称为Data对象，大量应用于表现现实中的对象。如果项目中使用了Hiber
  • jQuery网站顶部定时折叠广告 ini JavaScripthtmljqueryWebcss
    效果体验：http://hovertree.com/texiao/jquery/4.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>网页顶部定时收起广告jQuery特效 - HoverTree<
  • Spring boot内嵌的tomcat启动失败 kane_xie spring boot
    根据这篇guide创建了一个简单的spring boot应用，能运行且成功的访问。但移植到现有项目（基于hbase）中的时候，却报出以下错误：     SEVERE: A child container failed during start java.util.concurrent.ExecutionException: org.apache.catalina.Lif
  • leetcode: sort list michelle_0916 Algorithmlinked listsort
    Sort a linked list in O(n log n) time using constant space complexity. ====analysis======= mergeSort for singly-linked list  ====code=======   /** * Definition for sin
  • nginx的安装与配置,中途遇到问题的解决 qifeifei nginx
    我使用的是ubuntu13.04系统，在安装nginx的时候遇到如下几个问题，然后找思路解决的，nginx 的下载与安装   wget http://nginx.org/download/nginx-1.0.11.tar.gz tar zxvf nginx-1.0.11.tar.gz ./configure make make install   安装的时候出现
  • 用枚举来处理java自定义异常 tcrct javaenumexception
    在系统开发过程中，总少不免要自己处理一些异常信息，然后将异常信息变成友好的提示返回到客户端的这样一个过程，之前都是new一个自定义的异常，当然这个所谓的自定义异常也是继承RuntimeException的，但这样往往会造成异常信息说明不一致的情况，所以就想到了用枚举来解决的办法。 1，先创建一个接口，里面有两个方法，一个是getCode, 一个是getMessage public
  • erlang supervisor分析 wudixiaotie erlang
    当我们给supervisor指定需要创建的子进程的时候，会指定M,F,A,如果是simple_one_for_one的策略的话，启动子进程的方式是supervisor:start_child(SupName, OtherArgs),这种方式可以根据调用者的需求传不同的参数给需要启动的子进程的方法。和最初的参数合并成一个数组，A ++ OtherArgs。那么这个时候就有个问题了，既然参数不一致，那
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他