oracle 数据库字符集研究 中篇

四、EXP/IMP 与 字符集

4.1 EXP/IMP
    Export 和 Import 是一对读写Oracle数据的工具。Export 将 Oracle 数据库中的数据输出到操作系统文件中, Import 把这些文件中的数据读到Oracle 数据库中，由于使用exp/imp进行数据迁移时，数据从源数据库到目标数据库的过程中有四个环节涉及到字符集，如果这四个环节的字符集不一致，将会发生字符集转换。 
EXP
     ____________ _________________ _____________
     |imp导入文件|<-|环境变量NLS_LANG|<-|数据库字符集|
      ------------   -----------------   -------------

IMP 
     ____________ _________________ _____________
     |imp导入文件|->|环境变量NLS_LANG|->|数据库字符集|
      ------------   -----------------   -------------

四个字符集是
   （1）源数据库字符集 
   （2）Export过程中用户会话字符集（通过NLS_LANG设定）
   （3）Import过程中用户会话字符集（通过NLS_LANG设定）
   （4）目标数据库字符集 
  

4.2导出的转换过程
    在Export过程中，如果源数据库字符集与Export用户会话字符集不一致，会发生字符集转换，并在导出文件的头部几个字节中存储Export用户会话字符集的ID号。在这个转换过程中可能发生数据的丢失。

注意：在导出过程中，只有数据库字符集和会话字符集起作用（NLS_LANG参数），当客户端执行exp时，服务器端就问客户端，你是什么字符集啊？客户端就把NLS_LANG告诉服务器端，若与服务器端一样，就不转换。若与服务器端的字符集不一样，那oracle数据库端会转化成nls_lang指定的字符集。传送到客户端，注意！！！传过来之后是二进制的编码文件，客户端字符集在此时不起任何作用。客户端直接把二进制编码文件打包成emp文件。。。导出完成。

最理想的情况：是在导出和导入的时候，都不发生字符集转换。比如数据库sever端的字符集是16GBK，而客户端编码是utf8，改怎么设置呢？

最优的方法：把NLS_LANG设置为16gbk,这样在导出的过程，不转换字符集。然后导入的时候再把NLS_LANG也设置为16GBK，数据库还是16gbk，也不会发生转换。

不推荐的方法：设置NLS_LANG为utf8，这样的话，在导出的时候会先转成utf8的二进制码，然后导入的时候，会把ut8f的码再转成16gbk的，存到数据库。发生了两次转换。

在exp文件的头的第二、三字节记录了此文件的编码方式，在下次导入时使用。

例:如果源数据库使用ZHS16GBK，而Export用户会话字符集使用US7ASCII，由于ZHS16GBK是16位字符集,而US7ASCII是7位字符集，这个转换过程中，中文字符在US7ASCII中不能够找到对等的字符，所以所有中文字符都会丢失而变成“?? ”形式，这样转换后生成的Dmp文件已经发生了数据丢失。
因此如果想正确导出源数据库数据，则Export过程中用户会话字符集应等于源数据库字符集或是源数据库字符集的超集 
  
4.3导入的转换过程
    （1）确定导出数据库字符集环境
             通过读取导出文件头，可以获得导出文件的字符集设置
    （2）确定导入session的字符集，即导入Session使用的NLS_LANG环境变量
    （3）IMP读取导出文件
             读取导出文件字符集ID，和导入进程的NLS_LANG进行比较
    （4）如果导出文件字符集和导入Session字符集相同，那么在这一步骤内就不需要转换，             如果不同，就需要把数据转换为导入Session使用的字符集。可以看出，导入数据到数据库过程中发生两次字符集转换

    第一次:导入文件字符集与导入Session使用的字符集之间的转换，如果这个转换过程不能正确完成，Import向目标数据库的导入过程也就不能完成。
    第二次:导入Session字符集与数据库字符集之间的转换。

 

四. 查看数据库字符集

从客户端向数据库不论是存，或者取数据，所有的字符集的转换过程都发生在数据库服务器端，从来不会发生在客户端。关于存和取的过程，相老师视频讲的很细，通过

David的imp，exp过程也能理解了。

我们分析以下场景：

NLS_LANG:参数一定要和客户端的操作系统字符集一样，你想，如果不一样，(比如客户端操作系统用的是16GBK，nls参数写的是us7.)在客户端操作系统编码“好”这个词的时候是用16GBK编码出：1881，传个oracle数据库，数据库问客户端，你字符集是啥？客户端告诉数据库我的字符集是：us7（就是客户端把nls_lang参数值传给数据库），但是这客户端编码方式明明是16GBK的。此时，如果oracle数据库的字符集也是us7，数据库接到客户端传来的nls_lang参数后，就说，哦。。原来你也是用us7编码的啊（其实是16GBK编码的），正好我的数据库也是us7的字符集，那我数据库也不用进行字符转换了，直接给你存在表中吧。。

好通过上面这个场景我们继续向下分析：

第一种情况：还是这个客户端，要取出刚才存的这个数据，

客户端说：“嗨，数据库服务器你好，请给我取出值为：“好”的那个值”；

数据库服务器说：“行，没问题，你是什么字符集啊，我给你转换好了再给你”

客户端说：“我用的是US7（就是客户端把nls_lang参数值传给数据库）呀”，（实际上这个客户端用的是16GBK），然后数据库服务器就想，我也是us7的，我直接把1881这个编码传给你就好了，然后就把1881传给客户端。客户端拿过来这个1881，交给客户端操作系统字符集去转换成显示的字符。

客户端操作系统用的是16GBK，他拿到1881后，一查，哎，1881对应“好”这个字，恩，显示给用户，结束。  不错哟，没有任何错误。但是隐患是大大的有。

第二种情况：另外一个客户端，要取出刚才存的这个数据，但是这个客户端的nls_lang值是16GBK。

客户端说：“嗨，数据库服务器你好，请给我取出值为：“好”的那个值”；

数据库服务器说：“行，没问题，你是什么字符集啊，我给你转换好了再给你”

客户端说：“我用的是16GBK（就是客户端把nls_lang参数值传给数据库）呀”，，然后数据库服务器就想，我的是us7的哎，我得给你转换成16GBK再传给你，首先数据库服务器，拿出1881这个编码，服务器端一直还认为是us7编码出来的1881，（“好”这个字对应两个字节，us7是单字节的编码）然后1881被数据库服务器翻译成两个字母：比如AB。

然后oracle数据库服务器想，客户端是16GBK的，我得帮他转换成16GBK再传给他，然后数据库服务器把“AB”编码成16GBK的码：比如1234，传给客户端。客户端显示出来，那就肯定不是“好”了。

分析了这么个情况，我们只需要记住一个原则：数据库端设置成一般通用的字符集（如utf8），而客户端一定要保证nls_lang能够真实的反映出客户端操作系统使用的字符集。

字符集转换过程，涉及如下几方面的字符集：

1. oracle client端操作系统的字符集;

2.客户端nls_lang参数设置的字符集（这里只是一个参数）

3. 数据库字符集（负责所有字符集之间的转换）

4.数据库端操作系统字符集（这个是不涉及任何字符集转换的，因为所有的字符集都由客户端与oracle服务器直接交互）

 

4.4 查询oracle server端的字符集

有很多种方法可以查出oracle server端的字符集，比较直观的查询方法是以下这种:

SQL>select userenv('language') from dual;

AMERICAN _ AMERICA. ZHS16GBK

 

4.5 如何查询dmp文件的字符集

用oracle的exp工具导出的dmp文件也包含了字符集信息，dmp文件的第2和第3个字节记录了dmp文件的字符集。如果dmp文件不大，比如只有几M或几十M，可以用UltraEdit打开(16进制方式)，看第2第3个字节的内容，如0354，然后用以下SQL查出它对应的字符集:

SQL> select nls_charset_name(to_number('0354','xxxx')) from dual;

ZHS16GBK

 

如果dmp文件很大，比如有2G以上(这也是最常见的情况)，用文本编辑器打开很慢或者完全打不开，可以用以下命令(在unix主机上):

cat exp.dmp |od -x|head -1|awk '{print $2 $3}'|cut -c 3-6

然后用上述SQL也可以得到它对应的字符集。

 

4.6 查询oracle client端的字符集

在windows平台下，就是注册表里面相应OracleHome的NLS_LANG。还可以在dos窗口里面自己设置，

比如: set nls_lang=AMERICAN_AMERICA.ZHS16GBK

这样就只影响这个窗口里面的环境变量。

 

在unix平台下，就是环境变量NLS_LANG。

$echo $NLS_LANG

AMERICAN_AMERICA.ZHS16GBK

 或者：

root@n2-016-011:~# echo $LANG
en_US.UTF-8

如果检查的结果发现server端与client端字符集不一致，请统一修改为同server端相同的字符集。

字符集要求一致，但是语言设置却可以不同，语言设置建议用英文。如字符集是zhs16gbk，则nls_lang可以是American_America.zhs16gbk。

 

 

五． 修改oracle的字符集

按照上文所说，数据库字符集在创建后原则上不能更改。因此，在设计和安装之初考虑使用哪一种字符集十分重要。对数据库server而言，错误的修改字符集将会导致很多不可测的后果，可能会严重影响数据库的正常运行，所以在修改之前一定要确认两种字符集是否存在子集和超集的关系。一般来说，除非万不得已，我们不建议修改oracle数据库server端的字符集。特别说明，我们最常用的两种字符集ZHS16GBK和ZHS16CGB231280之间不存在子集和超集关系，因此理论上讲这两种字符集之间的相互转换不受支持。

 

不过修改字符集有2种方法可行。

1. 通常需要导出数据库数据，重建数据库，再导入数据库数据的方式来转换。

2. 通过ALTER DATABASE CHARACTER SET语句修改字符集，但创建数据库后修改字符集是有限制的，只有新的字符集是当前字符集的超集时才能修改数据库字符集，例如UTF8是US7ASCII的超集，修改数据库字符集可使用ALTER DATABASE CHARACTER SET UTF8。 
 

 

5.1 修改server端字符集(不建议使用)

 

1.       关闭数据库

SQL>SHUTDOWN IMMEDIATE

 

2. 启动到Mount

SQL>STARTUP MOUNT;

SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;

SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;

SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;

SQL>ALTER DATABASE OPEN;

--这里可以从父集到子集

SQL>ALTER DATABASE CHARACTER SET ZHS16GBK;

SQL>ALTER DATABASE NATIONAL CHARACTER SET AL16UTF16;

--如果是从子集到父集，需要使用INTERNAL_USE 参数，跳过超子集检测

SQL>ALTER DATABASE CHARACTER SET INTERNAL_USE AL32UTF8;

SQL>ALTER DATABASE NATIONAL CHARACTER SET INTERNAL_USE AL16UTF16;

 

SQL>SHUTDOWN IMMEDIATE;

SQL>STARTUP

注意：如果没有大对象，在使用过程中进行语言转换没有什么影响，（切记设定的字符集必须是ORACLE支持，不然不能start） 按上面的做法就可以。

 

若出现‘ORA-12717: Cannot ALTER DATABASE NATIONAL CHARACTER SET when NCLOB data exists’ 这样的提示信息，

要解决这个问题有两种方法

1. 利用INTERNAL_USE 关键字修改区域设置,

2. 利用re-create,但是re-create有点复杂,所以请用internal_use

 

SQL>SHUTDOWN IMMEDIATE;

SQL>STARTUP MOUNT EXCLUSIVE;

SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;

SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;

SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;

SQL>ALTER DATABASE OPEN;

SQL>ALTER DATABASE NATIONAL CHARACTER SET INTERNAL_USE UTF8;

SQL>SHUTDOWN immediate;

SQL>startup;

如果按上面的做法做,National charset的区域设置就没有问题

 

5.2 修改dmp文件字符集

上文说过，dmp文件的第2第3字节记录了字符集信息，因此直接修改dmp文件的第2第3字节的内容就可以‘骗’过oracle的检查。这样做理论上也仅是从子集到超集可以修改，但很多情况下在没有子集和超集关系的情况下也可以修改，我们常用的一些字符集，如US7ASCII，WE8ISO8859P1，ZHS16CGB231280，ZHS16GBK基本都可以改。因为改的只是dmp文件，所以影响不大。

 

具体的修改方法比较多，最简单的就是直接用UltraEdit修改dmp文件的第2和第3个字节。

比如想将dmp文件的字符集改为ZHS16GBK，可以用以下SQL查出该种字符集对应的16进制代码: SQL> select to_char(nls_charset_id('ZHS16GBK'), 'xxxx') from dual;

0354

然后将dmp文件的2、3字节修改为0354即可。

如果dmp文件很大，用ue无法打开，就需要用程序的方法了。

 

5.3客户端字符集设置方法
     1)UNIX环境
         $NLS_LANG=“simplified chinese”_china.zhs16gbk
         $export NLS_LANG
         编辑oracle用户的profile文件
    2)Windows环境
         编辑注册表
         Regedit.exe ---》 HKEY_LOCAL_MACHINE ---》SOFTWARE ---》 ORACLE--》HOME

  或者在窗口设置：

        set nls_lang=AMERICAN_AMERICA.ZHS16GBK

六．AL32UTF8和 UTF8的区别 

客户的环境需要使用UTF8字符集，那么是使用AL32UTF8还是直接使用UTF8，这是一个问题。

Oracle的UTF8字符集由来已久，至少在8的时候就已经存在了，而对应的是UNICODE 3.0。而AL32UTF8字符集是9i才出现的，其对应的是UNICODE 5.0。

这两种字符集的区别在于，UNICODE 5.0与3.0相比，又增加了一些新的补充字符。但是在实际当中，使用到这些新增字符的可能性非常小，因此绝大部分情况下，选择UTF8也是足够的。

而对于数据库的访问而言，二者还是存在一定差异的。前面提到了AL32UTF8字符集是9i才出现的，那么对于9i以后的版本访问没有任何问题，但是对于8i及以前的版本，则不认识这个字符集。这就使得8i及更低版本的客户端在访问9i以上AL32UTF8的数据库时，会碰到各种各样的问题。因此，Oracle建议在选择AL32UTF8和UTF8字符集时，最关键的一点就是是否有8i及以下版本的客户端会登录到数据库中，如果没有则可以选择AL32UTF8，如果存在这种客户端，那么需要选择UTF8字符集。

随着现在版本11g逐渐开始称为主流版本，8i客户端的情况已经越来越少见了，因此在11.2的DBCA中，UTF8已经不是推荐字符集列表中的一员了。