理解ORACLE数据库字符集

理解ORACLE数据库字符集

一．引言

     ORACLE数据库字符集，即 Oracle全球化支持 (Globalization Support)，或即国家语言支持（ NLS）其作用是用本国语言和格式来存储、处理和检索数据。利用全球化支持， ORACLE为用户提供自己熟悉的数据库母语环境，诸如日期格式、数字格式和存储序列等。 Oracle可以支持多种语言及字符集，其中 oracle8i支持 48种语言、 76个国家地域、 229种字符集，而 oracle9i则支持 57种语言、 88个国家地域、 235种字符集。由于 oracle字符集种类多，且在存储、检索、迁移 oracle数据时多个环节与字符集的设置密切相关，因此在实际的应用中，数据库开发和管理人员经常会遇到有关 oracle字符集方面的问题。本文通过以下几个方面阐述，对 oracle字符集做简要分析

二．字符集基本知识

2.1字符集
    实质就是按照一定的字符编码方案，对一组特定的符号，分别赋予不同数值编码的集合。 Oracle数据库最早支持的编码方案是 US7ASCII。
    Oracle 的字符集命名遵循以下命名规则 :
    <Language><bit size><encoding>
    即 :  <语言 ><比特位数 ><编码 >
    比如 : ZHS16GBK表示采用 GBK编码格式、 16位（两个字节）简体中文字符集

2.2字符编码方案
<st1:chsdate year="1899" month="12" day="30" islunardate="False" isrocdate="False" w:st="on"> 2.2.1</st1:chsdate>  单字节编码
     （ 1）单字节 7位字符集，可以定义 128个字符，最常用的字符集为 US7ASCII
    （ 2）单字节 8位字符集，可以定义 256个字符，适合于欧洲大部分国家
     例如： WE8ISO8859P1(西欧、 8位、 ISO标准 8859P1编码 )
2.2.2 多字节编码
     （ 1）变长多字节编码
     某些字符用一个字节表示，其它字符用两个或多个字符表示，变长多字节编码常用于对亚洲语言的支持，    例如日语、汉语、印地语等
     例如： AL32UTF8（其中 AL代表 ALL,指适用于所有语言）、 zhs16cgb231280
    （ 2）定长多字节编码
     每一个字符都使用固定长度字节的编码方案，目前 oracle唯一支持的定长多字节编码是 AF16UTF16，也是仅用于国家字符集
2.2.3 unicode 编码
    Unicode 是一个涵盖了目前全世界使用的所有已知字符的单一编码方案，也就是说 Unicode为每一个字符提供唯一的编码。 UTF-16是 unicode的 16位编码方式，是一种定长多字节编码，用 2个字节表示一个 unicode字符， AF16UTF16是 UTF-16编码字符集。
    UTF-8 是 unicode的 8位编码方式，是一种变长多字节编码，这种编码可以用 1、 2、 3个字节表示一个 unicode字符， AL32UTF8， UTF8、 UTFE是 UTF-8编码字符集

2.3 字符集超级
    当一种字符集（字符集 A）的编码数值包含所有另一种字符集（字符集 B）的编码数值，并且两种字符集相同编码数值代表相同的字符时，则字符集 A是字符集 B的超级，或称字符集 B是字符集 A的子集。
    Oracle8i 和 oracle9i官方文档资料中备有子集 -超级对照表（ subset-superset pairs），例如： WE8ISO8859P1是 WE8MSWIN1252的子集。由于 US7ASCII是最早的 Oracle数据库编码格式，因此有许多字符集是 US7ASCII的超集，例如 WE8ISO8859P1、 ZHS16CGB231280、 ZHS16GBK都是 US7ASCII的超集。

2.4 数据库字符集（oracle服务器端字符集）
    数据库字符集在创建数据库时指定，在创建后通常不能更改。在创建数据库时，可以指定字符集 (CHARACTER SET)和国家字符集 (NATIONAL CHARACTER SET)。
<st1:chsdate year="1899" month="12" day="30" islunardate="False" isrocdate="False" w:st="on">2.4.1</st1:chsdate> 字符集
    (1) 用来存储 CHAR, VARCHAR2, CLOB, LONG等类型数据
    (2) 用来标示诸如表名、列名以及 PL/SQL变量等
    (3) 用来存储 SQL和 PL/SQL程序单元等
2.4.2 国家字符集：
    (1) 用以存储 NCHAR, NVARCHAR2, NCLOB等类型数据
    (2) 国家字符集实质上是为 oracle选择的附加字符集，主要作用是为了增强 oracle的字符处理能力，因为 NCHAR数据类型可以提供对亚洲使用定长多字节编码的支持，而数据库字符集则不能。国家字符集在 oracle9i中进行了重新定义，只能在 unicode编码中的 AF16UTF16和 UTF8中选择，默认值是 AF16UTF16
2.4.3查询字符集参数
     可以查询以下数据字典或视图查看字符集设置情况
    nls_database_parameters 、 props$、 v$nls_parameters
    查询结果中 NLS_CHARACTERSET表示字符集， NLS_NCHAR_CHARACTERSET表示国家字符集
2.4.4 修改数据库字符集
     按照上文所说，数据库字符集在创建后原则上不能更改。如果需要修改字符集，通常需要导出数据库数据，重建数据库，再导入数据库数据的方式来转换，或通过 ALTER DATABASE CHARACTER SET语句修改字符集，但创建数据库后修改字符集是有限制的，只有新的字符集是当前字符集的超集时才能修改数据库字符集，例如 UTF8是 US7ASCII的超集，修改数据库字符集可使用 ALTER DATABASE CHARACTER SET UTF8。

2.5 客户端字符集（NLS_LANG参数）
<st1:chsdate year="1899" month="12" day="30" islunardate="False" isrocdate="False" w:st="on">2.5.1</st1:chsdate> 客户端字符集含义
     客户端字符集定义了客户端字符数据的编码方式，任何发自或发往客户端的字符数据均使用客户端定义的字符集编码 ,客户端可以看作是能与数据库直接连接的各种应用，例如 sqlplus,exp/imp等。客户端字符集是通过设置 NLS_LANG参数来设定的。
2.5.2 NLS_LANG 参数格式
    NLS_LANG=<language>_<territory>.<client character set> 
    Language: 显示 oracle消息 ,校验，日期命名
    Territory ：指定默认日期、数字、货币等格式
    Client character set ：指定客户端将使用的字符集
     例如： NLS_LANG=AMERICAN_AMERICA.US7ASCII  
    AMERICAN是语言， AMERICA是地区， US7ASCII是客户端字符集
2.5.3 客户端字符集设置方法
     1)UNIX 环境
         $NLS_LANG=“simplified chinese”_china.zhs16gbk
         $export NLS_LANG
          编辑 oracle用户的 profile文件
    2)Windows 环境
          编辑注册表
         Regedit.exe---HKEY_LOCAL_MACHINE---SOFTWARE---ORACLE―HOME0
2.5.4 NLS 参数查询
    Oracle 提供若干 NLS参数定制数据库和用户机以适应本地格式，例如有 NLS_LANGUAGE,NLS_DATE_FORMAT,NLS_CALENDER等，可以通过查询以下数据字典或 v$视图查看。
    NLS_DATABASE_PARAMETERS-- 显示数据库当前 NLS参数取值，包括数据库字符集取值
    NLS_SESSION_PARAMETERS-- 显示由 NLS_LANG 设置的参数，或经过 alter session 改变后的参数值（不包括由 NLS_LANG 设置的客户端字符集）
    NLS_INSTANCE_PARAMETE-- 显示由参数文件 init<SID>.ora 定义的参数 V$NLS_PARAMETERS--显示数据库当前 NLS参数取值
2.5.5 修改 NLS参数
     使用下列方法可以修改 NLS参数
     （ 1）修改实例启动时使用的初始化参数文件
     （ 2）修改环境变量 NLS_LANG
    （ 3）使用 ALTER SESSION语句，在 oracle会话中修改
     （ 4）使用某些 SQL函数
    NLS 作用优先级别： Sql function>alter session>环境变量或注册表 >参数文件 >数据库默认参数

三．导入/导出与字符集转换

3.1 EXP/IMP
    Export 和  Import 是一对读写 Oracle数据的工具。 Export 将  Oracle 数据库中的数据输出到操作系统文件中 , Import 把这些文件中的数据读到 Oracle 数据库中，由于使用 exp/imp进行数据迁移时，数据从源数据库到目标数据库的过程中有四个环节涉及到字符集，如果这四个环节的字符集不一致，将会发生字符集转换。

EXP
     ____________   _________________  _____________
     |imp导入文件|<-|环境变量NLS_LANG|<-|数据库字符集|
     ------------   -----------------  -------------

<v:shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="m@4@5l@4@11@9@11@9@5xe" filled="f" stroked="f"><v:stroke joinstyle="miter"></v:stroke><v:formulas><v:f eqn="if lineDrawn pixelLineWidth 0"></v:f><v:f eqn="sum @0 1 0"></v:f><v:f eqn="sum 0 0 @1"></v:f><v:f eqn="prod @2 1 2"></v:f><v:f eqn="prod @3 21600 pixelWidth"></v:f><v:f eqn="prod @3 21600 pixelHeight"></v:f><v:f eqn="sum @0 0 1"></v:f><v:f eqn="prod @6 1 2"></v:f><v:f eqn="prod @7 21600 pixelWidth"></v:f><v:f eqn="sum @8 21600 0"></v:f><v:f eqn="prod @7 21600 pixelHeight"></v:f><v:f eqn="sum @10 21600 0"></v:f></v:formulas><v:path o:extrusionok="f" gradientshapeok="t" o:connecttype="rect"></v:path><o:lock v:ext="edit" aspectratio="t"></o:lock></v:shapetype><v:shape id="_x0000_i1025" style="WIDTH: 348pt; HEIGHT: 36.75pt; mso-wrap-style: square; mso-wrap-distance-left: 9.05pt; mso-wrap-distance-right: 9.05pt; mso-position-horizontal-relative: page; mso-position-vertical-relative: page" type="#_x0000_t75"><v:imagedata src="file:///C:\DOCUME~1\lj\LOCALS~1\Temp\msohtml1\01\clip_image001.png" o:href="http://www.csdb.cn/upload/112.bmp" embosscolor="#000002"></v:imagedata><o:lock v:ext="edit" aspectratio="f"></o:lock></v:shape>

IMP 
     ____________   _________________  _____________
     |imp导入文件|->|环境变量NLS_LANG|->|数据库字符集|
     ------------   -----------------  -------------

<v:shape id="_x0000_i1026" style="WIDTH: 343.5pt; HEIGHT: 36.75pt; mso-wrap-style: square; mso-wrap-distance-left: 9.05pt; mso-wrap-distance-right: 9.05pt; mso-position-horizontal-relative: page; mso-position-vertical-relative: page" type="#_x0000_t75"><v:imagedata src="file:///C:\DOCUME~1\lj\LOCALS~1\Temp\msohtml1\01\clip_image003.png" o:href="http://www.csdb.cn/upload/113.bmp" embosscolor="#000002"></v:imagedata><o:lock v:ext="edit" aspectratio="f"></o:lock></v:shape>

    四个字符集是
    （ 1）源数据库字符集 
    （ 2） Export过程中用户会话字符集（通过 NLS_LANG设定）
    （ 3） Import过程中用户会话字符集（通过 NLS_LANG设定）
    （ 4）目标数据库字符集

3.2导出的转换过程
    在 Export过程中，如果源数据库字符集与 Export用户会话字符集不一致，会发生字符集转换，并在导出文件的头部几个字节中存储 Export用户会话字符集的 ID号。在这个转换过程中可能发生数据的丢失。
例 :如果源数据库使用 ZHS16GBK，而 Export用户会话字符集使用 US7ASCII，由于 ZHS16GBK是 16位字符集 ,而 US7ASCII是 7位字符集，这个转换过程中，中文字符在 US7ASCII中不能够找到对等的字符，所以所有中文字符都会丢失而变成 “?? ”形式，这样转换后生成的 Dmp文件已经发生了数据丢失。
因此如果想正确导出源数据库数据，则 Export过程中用户会话字符集应等于源数据库字符集或是源数据库字符集的超集

3.3导入的转换过程
     （ 1）确定导出数据库字符集环境
     通过读取导出文件头，可以获得导出文件的字符集设置
     （ 2）确定导入 session的字符集，即导入 Session使用的 NLS_LANG环境变量
     （ 3） IMP读取导出文件
     读取导出文件字符集 ID，和导入进程的 NLS_LANG进行比较
     （ 4）如果导出文件字符集和导入 Session字符集相同，那么在这一步骤内就不需要转换，如果不同，就需要把数据转换为导入 Session使用的字符集。可以看出，导入数据到数据库过程中发生两次字符集转换
     第一次 :导入文件字符集与导入 Session使用的字符集之间的转换，如果这个转换过程不能正确完成， Import向目标数据库的导入过程也就不能完成。
     第二次 :导入 Session字符集与数据库字符集之间的转换。
     然而 ,oracle8i的这种转换只能在单字节字符集之间进行 ,oracle8i导入 Session不支持多字节字符集之间的转换，因此为了避免第一次转换，导入 Session使用的 NLS_LANG与导出文件字符集相同，第二次转换（通过 SQL*Net）支持任何两种字符集。以上情况在 Oracle9i中略有不同

四．乱码问题

    oracle在数据存储、迁移过程中经常发生字符乱码问题，归根到底是由于字符集使用不当引起。下面以使用客户端 sqlplus向数据库插入数据和导入 /导出（ EXP/IMP）过程为例，说明乱码产生的原因。

4.1使用客户端sqlplus向数据库存储数据
     这个过程存在 3个字符集设置
     （ 1）客户端应用字符集
     （ 2）客户端 NLS_LANG参数设置
     （ 3）服务器端数据库字符集 (Character Set)设置
     客户端应用 sqlplus中能够显示什么样的字符取决于客户端操作系统语言环境 (客户端应用字符集 )，但在应用中录入这些字符后，这些字符能否在数据库中正常存储，还与另外两个字符集设置紧密相关，其中客户端 NLS_LANG参数主要用于字符数据传输过程中的转换判断。常见的乱码大致有两种情形：
     （ 1）汉字变成问号 “？ ”；
当从字符集 A 转换成字符集 B时，如果转换字符之间不存在对应关系， NLS_LANG使用替代字符 “？ ”替代无法映射的字符
     （ 2）汉字变成未知字符（虽然有些是汉字，但与原字符含义不同）
转换存在对应关系，但字符集 A 中的字符编码与字符集 B 中的字符编码代表不同含义

4.2发生乱码原因  
    乱码产生是由于几个字符集之间转换不匹配造成，分以下几种情况：
     （注：字符集之间如果不存在子集、超集对应关系时的情况不予考虑，因为这种情况下字符集之间转换必产生乱码）    
    1）服务器端数据库字符集与客户端应用字符集相同，与客户端 NLS_LANG参数设置不同
     如果客户端 NLS_LANG字符集是其它两种字符集的子集，转换过程将出现乱码。
     解决方法：将三种字符集设置成同一字符集，或 NLS_LANG字符集是其它两种字符集的超集
    2 ）服务器端数据库字符集与客户端 NLS_LANG参数设置相同，与客户端应用字符集不同
     如果客户端应用字符集是其它两种字符集的超集时，转换过程将出现乱码，但对于单字节编码存储中文问题，可参看本文第 5章节的分析
    3 ）客户端应用字符集、客户端 NLS_LANG参数设置、服务器端数据库字符集互不相同
     此种情况较为复杂，但三种字符集之间只要有不能转换的字符，则必产生乱码

4.3导入/导出过程出现乱码原因
     这个过程存在 4个字符集设置，在 3.1章节中已分析
    （ 1）源数据库字符集
    （ 2） EXP过程中 NLS_LANG参数 
    （ 3） IMP过程中 NLS_LANG参数
    （ 4）目标数据库字符集
     出现乱码原因
    1 ）当源数据库字符集不等于 EXP过程中 NLS_LANG参数，且源数据库字符集是 EXP过程中 NLS_LANG的子集，才能保证导出文件正确，其他情况则导出文件字符乱码
    2 ） EXP过程中 NLS_LANG字符集不等于 IMP过程中 NLS_LANG字符集，且 EXP过程中 NLS_LANG字符集是 IMP过程中 NLS_LANG字符集的子级 , 才能保证第一次转换正常，否则第一次转换中出现乱码。
    3 ）如果第一次转换正常， IMP过程中 NLS_LANG字符集是目标数据库字符集的子集或相同，才能保证第二次转换正常，否则则第二次转换中出现乱码

五．单字节编码存储中文问题

    由于历史的原因，早期的 oracle没有中文字符集（如 oracle6、 oracle7、 oracle7.1） ,但有的用户从那时起就使用数据库了，并用 US7ASCII字符集存储了中文，或是有的用户在创建数据库时，不考虑清楚，随意选择一个默认的字符集，如 WE8ISO8859P1或 US7ASCII，而这两个字符集都没有汉字编码，虽然有些时候选用这种字符集好象也能正常使用，但用这种字符集存储汉字信息从原则上说就是错误的，它会给数据库的使用与维护带来一系列的麻烦。
     正常情况下，要将汉字存入数据库，数据库字符集必须支持中文，而将数据库字符集设置为 US7ASCII等单字节字符集是不合适的。 US7ASCII字符集只定义了 128个符号，并不支持汉字。另外，如果在 SQL*PLUS中能够输入中文，操作系统缺省应该是支持中文的，但如果在 NLS_LANG中的字符集设置为 US7ASCII，显然也是不正确的，它没有反映客户端的实际情况。但在实际应用中汉字显示却是正确的，这主要是因为 Oracle检查数据库与客户端的字符集设置是同样的，那么数据在客户与数据库之间的存取过程中将不发生任何转换，但是这实际上导致了数据库标识的字符集与实际存入的内容是不相符的。而在 SELECT的过程中， Oracle同样检查发现数据库与客户端的字符集设置是相同的，所以它也将存入的内容原封不动地传送到客户端，而客户端操作系统识别出这是汉字编码所以能够正确显示。
     在这个例子中，数据库与客户端都没有设置成中文字符集，但却能正常显示中文，从应用的角度看好象没问题。然而这里面却存在着极大的隐患，比如在应用 length或 substr等字符串函数时，就可能得到意外的结果。
     对于早期使用 US7ASCII字符集数据库的数据迁移到 oracle8i/9i中（使用 zhs16gbk），由于原始数据已经按照 US7ASCII格式存储，对于这种情况，可以通过使用 Oracle8i的导出工具，设置导出字符集为 US7ASCII，导出后使用 UltraEdit等工具打开 dmp文件，修改第二、三字符，修改  0001 为 0354,这样就可以将 US7ASCII字符集的数据正确导入到 ZHS16GBK的数据库中。

六．结束语

    为了避免在数据库迁移过程中由于字符集不同导致的数据损失， oracle提供了字符集扫描工具（ character set scanner），通过这个工具我们可以测试在数据迁移过程中由于字符集转换可能带来的问题，然后根据测试结果，确定数据迁移过程中最佳字符集解决方案。