说明
在上一篇文章dotnetcore 与 hbase 之二——thrift 客户端的制作中已经可以找到 c# hbase 客户端的使用方法了,为什么这里单独列出一篇文章来讲述呢?最简单的理由就是,本篇将为客户端的使用讲述一些简化性工作以及需要注意的事项。为此,我们做了一些工作HbaseNetCore。
存在的差异
在 c# hbase 客户端中,接口基本只接受或返回 byte 数组型的参数,比如:
Task> getTableNamesAsync(CancellationToken cancellationToken); # 获取所有hbase中的表名
Task> getRowAsync(byte[] tableName, byte[] row, Dictionary attributes, CancellationToken cancellationToken); # 根据rowkey获取一行数据
所以,大多数的工作将是 customer's class 与 byte array 之间的转换。需要注意的事项正是来源于 c#与 java 的一些差异。
1. byte 数组大小端
在我的工作中遇到的 java 主要使用类org.apache.hadoop.hbase.util.Bytes
来进行二进制化(例如:Bytes.toBytes(/**/)
),以此来达到和 hbase 进行数据交换的目的。在 Java 中 byte 数组与网络字节流采取一致的大小端模式——大端模式。而在 c#中,主要使用类System.BitConverter
来获取二进制流,得到的 bytes 结果是小端模式的。因此,为了通用,我们需要使用Array.Reverse()
方法来进行大小端反转。也可以使用System.Net.IPAddress.HostToNetworkOrder()
来直接获取网络字节顺序的 bytes。但是其结果不是 byte[],仍然需要使用System.BitConverter
来获取 byte[]。此外,单字节编码的字符串(比如:ASCII 、utf-8)不存在大小端的问题,双字节及以上需要注意大小端(比如:utf-16、GB2312)。
2. 基本值类型的对应
在 Java 中,基本数据类型(byte、short、int、long、float、double、char、boolean)中不存在无符号型。而在 c#中(bool、byte、char、decimal、double、float、int 32、long、sbyte、short、uint、ulong、ushort)有无符号型。所以在使用数据类型上需要注意对应。此外,二者在布尔类型上也有差异。从转换的 byte[]中可以看出来:
//java
true:[-1]
false:[0]
//c#
true:01 # 幸运的是所有非零值转bool都是true。BitConverter.ToBoolean(BitConverter.GetBytes((sbyte)-1))
false:00
在 java 中,short 是 4 字节的,而 c#中仅为 2 字节:
//java
System.out.println("short:" + Arrays.toString(Bytes.toBytes('d')));
short:[0, 0, 0, 100] # 十进制
//c#
Console.WriteLine($"short:{BitConverter.ToString(((short)'d').ToBytes())}");# 注意:方法ToBytes获取了bytes并反转了大小端
short:00-64 # 十六进制
customer's class 与 byte array 之间的转换
为了提高工作效率,需要做一些转换工具,以此来减少 byte[]与用户数据之间的徒手转换工作。
1. 为 hbase 仓储而创建的特性与接口
特性类 HbaseTableAttribute 构造函数接受一个可选参数,以此指明与 hasee 对应的表名。
public HbaseTableAttribute(string table = null)
特性类 HbaseColumnAttribute 构造函数接受两个可选参数,以此指明列簇名与列名
public HbaseColumnAttribute(string family = DefaultFamily, string column = null)
接口 IHbaseTable 强制提供 byte[]转换为用户类时提供的 RowKey 属性。
public interface IHbaseTable
{
string RowKey { get; set; }
}
举一student
类为例:
[HbaseTable("student")]
public class Student : IHbaseTable
{
public string RowKey { get; set; }
[HbaseColumn]
public string Name { get; set; }
[HbaseColumn]
public int Age { get; set; }
[HbaseColumn]
public bool IsWork { get; set; }
public DateTime JoinSchool { get; set; }
[HbaseColumn]
public List Hobbies { get; set; }
}
2.为 c# hbase 客户端与用户类之间转换创建的辅助工具类
目前实现的转换接口有:
public interface IHbaseParser
{
//用户类转 hbase 客户端
List ToMutations(T obj) where T : class;
//用户类转 hbase 客户端
BatchMutation ToBatchMutation(T obj) where T : class, IHbaseTable;
//用户类集合转 hbase 客户端
List ToBatchMutations(IEnumerable objs) where T : class, IHbaseTable;
// hbase 客户端转用户类
T ToReal(TRowResult trr) where T : class, IHbaseTable, new();
// hbase 客户端转用户类集合
List ToReals(IEnumerable trrs) where T : class, IHbaseTable, new();
}
帮助性接口:
public interface IHbaseHelper
{
//获取特性HbaseTableAttribute中的表名
string GetTableName() where T : class, new();
//获取特性HbaseColumnAttribute中的列簇名
List GetTableColumnNames() where T : class, new();
}
使用方式如:
//c# hbase 客户端准备
var _clientTransport = new TSocketClientTransport(IPAddress.Loopback, 9090);
var protocol = new TBinaryProtocol(_clientTransport);
var _client = new Hbase.Client(protocol);
var _hbaseHelper = new HbaseHelper();
var _HbaseParser = new HbaseParser();
var cancel = new CancellationToken();
//在hbase创建表
var table = _hbaseHelper.GetTableName();
var colNames = _hbaseHelper.GetTableColumnNames();
var columnFamilies = colNames
.Select(t => new ColumnDescriptor { Name = t.ToBytes() })
.ToList();
await _client.createTableAsync(table.ToBytes(), columnFamilies, cancel);
//写入1000条数据
var range = Enumerable.Range(0, 1000).ToList();
var students = range
.Select(t => new Student { RowKey = t.ToString().Reverse2String(), Name = $"hsx{t}", Age = t })
.ToList();
students.Last().Hobbies = new List { "running", "dance" };
students.Last().IsWork = true;
var batchs = _HbaseParser.ToBatchMutations(students);
await _client.mutateRowsAsync(table.ToBytes(), batchs, null, cancel);
//从‘0’开始扫描数据
var id = await _client.scannerOpenAsync(
table.ToBytes(),
"0".ToBytes(),
null,
null,
cancel);
students = new List();
List perStudents = null;
do
{
var tRows = await _client.scannerGetListAsync(id, 500, cancel);
perStudents = _HbaseParser.ToReals(tRows);
students.AddRange(perStudents);
} while (perStudents?.Count > 0);
总结
虽然我们可以进行 hbase 的读写,但是效率上的差距依然明显,基本在几倍的读性能差距上,写数据性能差异尚未测试。作为 net 了解 hbase 的一个学习窗口吧。
更多细节,请查看HbaseNetCore项目。c# hbase 客户端基本告一段落,如有更新,也基本只会出现在本项目源代码中。