py2下hbase的字符串编码问题(\\xe7\\xbc\\x96)

py2下hbase的字符串编码问题(\xe7\xbc\x96)

最近在py2的环境下使用hbase，遇到了一个令人恼火的编码问题。问题字符串如下：

'\\XE6\\X89\\X80\\XE8\\XB0\\X93\\XE7\\X89\\XB9\\XE6\\XAE\\X8A\\XE5\\XAD\\X97\\XE7\\XAC\\XA6\\XEF\\XBC\\X8C\\XE5\\XB0\\XB1\\XE6\\X98\\XAF\\XE4\\XB8\\X80\\XE4\\XBA\\X9B\\XE6\\X9C\\X89\\XE7\\X89\\XB9\\XE6\\XAE\\X8A\\XE5\\X90\\XAB\\XE4\\XB9\\X89\\XE7\\X9A\\X84\\XE5\\XAD\\X97\\XE7\\XAC\\XA6\\X0D\\X0A2.\\XE5\\XAE\\X9A\\XE4\\XBD\\X8D\\XE7\\XAC\\XA6\\XE4\\XBD\\XBF\\XE6\\X82\\XA8\\XE8\\X83\\XBD\\XE5\\XA4\\X9F\\XE5\\XB0\\X86\\XE6\\XAD\\XA3\\XE5\\X88\\X99\\XE8\\XA1\\XA8\\XE8\\XBE\\XBE\\XE5\\XBC\\X8F\\XE5\\X9B\\XBA\\XE5\\XAE\\X9A\\XE5\\X88\\XB0\\XE8\\XA1\\X8C\\XE9\\XA6\\X96\\XE6\\X88\\X96\\XE8\\XA1\\X8C\\XE5\\XB0\\XBE\\XE3\\X80\\X82'

这是一段utf-8编码后的字符串，由三个字节组成一个中文。

比较坑的地方是在它每个字节码前的双反斜杠\\

一开始，我希望将它的反斜杠去掉一个，然后就可以交给py自己来处理了，然而由于反斜杠的转义，尝试了多种方式，未果。（难受.jpg）

在查询了网上的一些处理方法后，发现基本都是按照三个字节来取，然后做转码。

但是这里存在的几个坑：

1. 这段字符串中包含英文与数字，它们在里面是直接储存的，并没有被编码。
2. \r \n这类的特殊字符是单个字节储存的，必须区分出来。

于是，只好使用我觉得比较蠢但又无可奈何的办法，思路如下：

1. 使用正则，按照三个字节取出
2. 转换中文编码后替换原字符串
3. 处理特殊字符的编码

将这两个坑给填了后，代码如下：

import re

rule = "\\\\X\w{2}\\\\X\w{2}\\\\X\w{2}"
words = re.findall(rule, var)
for t in words:
    new_txt = t.replace('\\X', '').decode('hex')
    var = var.replace(t, new_txt)
var = var.replace('\\X0D', '\r').replace('\\X0A', '\n').replace('\\X09', '\t')

这段代码比较简单：
rule 是正则的提取规则，按照三个字节提取，去除可能存在的单字节特殊字符
var 是需要处理的字符串
new_txt 是我们需要的中文
第7行 是使用中文替换掉原始的字节码
第8行 是处理可能存在的指标符

使用这段代码转换上文的那段字符后，得到的结果如下：

所谓特殊字符，就是一些有特殊含义的字符
2.定位符使您能够将正则表达式固定到行首或行尾。

需求基本满足了，不过需要注意的是，这里依然存在几个问题：

1. 这段代码不兼容py3。它的运行环境为py2，py3下运行是会报错的。原因还是在于他们对字符串编码的默认处理方式不同。
2. 没有考虑大小写。 这里对字节码的替换规则默认为替换大写的，实际中，它可能存在小写的情况。
3. 特殊字符。 这里只对常见的\r \n \t进行了处理，实际中，还可能存在\f \v等的情况。

这里留下了几个bug… 有点惭愧，不过正所谓前人挖坑后人填。

处理的方式其实也不难，第2点，使用正则来代替replace，第3点，增加\f \v 的处理即可，基本不用修改太多。第1点的话，则可能需要一点时间针对py3下的进行改写了，不过问题也不大。
:)