Perl对中文的处理问题

Perl对中文的处理问题

perl    2009-07-07 08:19   阅读10   评论0  

字号： 大   中   小

发信人: chaoslawful (Skeleton Warrior), 信区: Perl
标 题: 关于Perl对中文的处理问题
发信站: BBS 水木清华站 (Sat Oct 25 12:17:27 2003), 转信

大家经常使用正则表达式的字符集从字符串中抽取或排除中文字符，但是这样做很费事，效果也并不是很理想。实际上Perl从5.6开始已经开始在内部 使用 utf8编码来表示字符，也就是说对中文以及其他语言字符的处理应该是完全没有问题的。关键在于目前使用的编辑器以及文件格式并不都能很好地支持 utf8，委屈了Perl的强大能力。实际上我们只需要利用好Encode这个模块便能充分发挥Perl的utf8字符的优势了。

下面就以中文文本的处理为例进行说明（注意：编辑下面这段程序不能用使用utf8编码的编辑器），比如有一个字符串"测试文本"，我们想要把这个中文字符串拆成单个字符，可以这样写：
use Encode;
use Encode::CN; #可写可不写
$dat="测试文本";
$str=decode("gb2312",$dat);
@chars=split //,$str;
foreach $char (@chars) {
print encode("gb2312",$char),"/n";
}
结果大家试一试就知道了，应该是令人满意的。

这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们需要清楚几个概念：
1、Perl字符串是使用utf8编码的，它由Unicode字符组成而不是单个字节，每个utf8编码的Unicode字符占1~4个字节（变长）。
2、 进入或离开Perl处理环境（比如输出到屏幕、读入和保存文件等等）时不是直接使用Perl字符串，而需要把Perl字符串转换成字节流，转换过程中使用 何种编码方式完全取决于你（或者由Perl代劳）。一旦Perl字符串向字节流的编码完成，字符的概念就不存在了，变成了纯粹的字节组合，如何解释这些组 合则是你自己的工作。

我们可以看出如果想要Perl按照我们的字符概念来对待文本，文本数据就需要一直用Perl字符串的形式存放。但是我们平时写出的每个字符一般都被 作为纯 ASCII字符保存（包括在程序中明文写出的字符串），也就是字节流的形式，这里就需要encode和decode函数的帮助了。

encode函数顾名思义是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编码格式编码，最终转化为字节流的形式，因此和Perl处理环境之外的事物打交道经常需要它。其格式很简单：
$octets = encode(ENCODING, $string [, CHECK])
这里$string是Perl字符串，ENCODING是给定的编码方式，$octets则是编码之后的字节流，CHECK表示转换时如何处理畸变字符（也就是Perl认不出来的字符）。一般不需要使用CHECK，让Perl按默认规则处理即可。
编 码方式视语言环境的不同有很大变化，默认可以识别utf8、ascii、ascii-ctrl、iso-8859-1等，中文环境（CN）增加了 euc-cn（gb2312与之等价）、cp936（gbk与之等价）、hz等，还有日文环境（JP）、韩文（KR）等等，在此不一一尽数。

decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流，将其转化为使用utf8编码的Perl字符串，一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为：
$string = decode(ENCODING, $octets [, CHECK])
$string、ENCODING、$octets和CHECK的含义同上。

现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的，存放的时候已经是字节流形式，丧失了本来的意义，所以首先就要用decode函数 将其转换为Perl字符串，由于汉字一般都用gb2312格式编码，这里decode也要使用gb2312编码格式。转换完成后Perl对待字符的行为就 和我们一样了，平时对字符串进行操作的函数基本上都能正确对字符进行处理，除了那些本来就把字符串当成一堆字节的函数（如vec、pack、unpack 等）。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码的字符串，还需要将切割后的字符用encode函数编码 为 gb2312格式的字节流，再用print输出。

Encode模块的初步应用大概就是这样，详细情况还是要参阅模块的文档。实际上如果我们使用UltraEditor等等支持编辑utf8编码文件 的编辑器写程序，基本上用不着Encode模块，在程序开头加上一句use utf8就行。这时Perl默认包括程序本身在内的所有的字符都是Unicode字符，可以随便使用Unicode范围内的字符，甚至可以用非英文字符作 为标识符，只是输出的时候可能还需要用Encode模块。比如用UE的utf8编码模式编辑这个程序：
use utf8;
$单价=10;
$数量=100;
$总额=$单价*$数量;
print "$总额/n";
可 以在Perl 5.6以后的版本中正常运行并给出结果，是不是很爽？:) 这种模式最大的优点就是在字符串中可以混合多种语言的文字，就算中日韩英加上阿拉伯字符都在一个字符串中出现也没问题；不像使用Encode模块那样必须 固定一种编码方式，中日韩英字符同时出现还好办，因为gbk包含了所有这些字符，可是再加上一些非亚洲语言字符就不一定能处理了。所以以后用 Unicode编码应该是大势所趋。

希望写的这些能对大家有所帮助。

发信人: chaoslawful (Skeleton Warrior), 信区: Perl
标 题: 对Perl处理中文字符的一点补充
发信站: BBS 水木清华站 (Thu Oct 30 09:45:23 2003), 转信

从Perl5.8开始的版本除了使用Encode模块将中文字符转换成utf8字符以外，还可以使用use encoding指示符来更方便地处理。如下所示

use encoding 'gbk';
$str="你好";
print length($str)."/n";
@chars=split //,$str;
print "@chars/n";

还可以指定输入输出使用不同的编码方式，达到转换编码的目的
use encoding 'gbk',STDOUT=>'utf8'; # 输入用gbk编码，输出用utf8编码
或者
use encoding 'gbk',STDIN=>'utf8'; # 输入用utf8编码，输出用gbk编码

如果想用汉字作变量名，达到和use utf8指示符相同的效果，可以这样写

use encoding 'gbk',Filter=>1;
$变量=10;
print "$变量/n";

不过这样会降低兼容性，所以不推荐使用。更详细的描述可参考perldoc encoding

 

有时候要考虑字符编码的特性，比如你找到乱码， 如"闈炲尰鍔′汉鍛?"，"鍖诲姟浜哄憳"分别表示"非医务人员"和"医务人员"，所以你的正则表达式可以写为：

$_ =~ /闈炲尰鍔′汉鍛/用来匹配文本中包含非医务人员的文件。

当然编译器默认是GBK,我的文本文件是UTF-8无ROM格式.

你通过.*直接输出就可以进行匹配了