MySQL字符集设置及字符转换

  Mysql编码转换实践总结  2012-09-20 15:51:56

分类： Mysql/postgreSQL

背景：系统的mysql数据库fol采用默认的latin1字符集，里面的字段在GB2312下显示正常。系统升级需要将所有数据转换成utf-8格式，目标数据库为newfol(建库时使用utf8 )

 create database newfol default charset utf8 COLLATE utf8_general_ci;

操作系统：RHEL5  x86

Mysql版本：5.1.57-log MySQL Community Server (GPL)

首先，使用替换Mysql字符集的方法转码，此方法在Navicat使用Mysql字符集连接数据库，显示中文正常的情况下，测试成功。如图：

1> 导出表结构：

 mysqldump -uroot -p --default-character-set=utf8 -d fol > createtab_fol.sql

其中--default-character-set=utf8 表示设置以什么字符集连接，　-d 表示只导出表结构，不导出数据。

2>修改　createtab.sql 中表结构定义中的字符集为新的字符集。

 sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab_fol.sql `

注：如果有设置latin1_general_ci字符集，那么要对应改成utf8_general_ci，下同

3>确保记录不再更新，导出所有记录。

 mysqldump -uroot -p --no-create-info fol > data_fol.sql

可选参数：

--no-create-info: 不写重新创建每个转储表的create table 语句。

4>打开data_fol.sql，将CHARSET=latin1修改成CHARSET=utf8 。

 sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data_fol.sql `

5>使用新的字符集创建新的数据库。

 create database newfol default charset utf8 COLLATE utf8_general_ci;

6>创建表，执行createtab.sql

 mysql -uroot -p newfol< createtab_fol.sql

7>导入数据，执行data_fol.sql

 mysql -uroot -p newfol < data_fol.sql

8>使用客户端工具Navict连接，查看字符，乱码……宣告失败。

总结：在数据库默认为latin1字符集，字段为GB2312，直接修改表结构文件和数据文件为utf8格式，实际没有对中文生效。只有在默认为latin1字符集，中文为默认Mysql字符，才生效。

于是，搜索了互联网相关Mysql转换方法。

方法一：

步骤一> 命令行执行：

 mysqldump --opt -uroot -p --default-character-set=latin1 fol > /tmp/newfol.sql

步骤二 > 将 newfol.sql 文件中的create table语句的CHARSET=latin1改为CHARSET=utf8

 sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/newfol.sql `

步骤四 > 将newfol.sql转码为utf-8格式，建议使用UltraEditor，可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)'，或者将文件另存为UTF-8(无BOM)格式

步骤五 > 命令行执行导入：

 mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql

看到了华丽丽的中文了。哈哈

方法二

第一步，导出旧库

 mysqldump --default-character-set=latin1 -uroot -p fol > /tmp/old.sql

第三步，使用iconv工具转换编码

 iconv -t utf-8 -f gb2312 -c /tmp/old.sql > /tmp/new_utf8.sql

第二步，打开old.sql，将CHARSET=latin1修改成CHARSET=utf8 。

 sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/new_utf8.sql `

第四步，导入新库

修改new_utf8.sql，增加一条sql语句："SET NAMES utf8;"，保存。

如果是大文件，建议使用sed命令插入，如 sed -i '22 i\SET NAMES utf8;'

即在22行之前插入一条SQL语句。

 mysql -hlocalhost -uroot newfol < new_utf8.sql

测试也成功通过，不乱码……

方法三：

Mysql5版本以上在使用 mysqldump的时候加上 --compatible=mysql40 参数，就可以指定编码,对导出文件进行格式转换。

1、用mysqldump将latin1编码的数据库导出成为sql文件。

 mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql

重点：--compatible=mysql40 --default-character-set=latin1 当指定了--compatible=mysql40参数后，可以指定数据库编码。

2、第二步，建立一个新库，采集字符集设定为utf8-general-li
    将导出的newfol.sql 转换为UTF-8编码，可以使用UltraEdit（文件--转换--ASCII到UTF8）。后面的操作和第一种方法第二步骤开始一样。

结果测试是乱码。太伤心了……

经过不断测试和努力，用另外一种方法也把数据转换成功了，使用如下方法。

在和同事讨论了这个问题，得知在Navicat中使用GB2312字符连接，在正常显示中文的时候，转储SQL文件，然后用过UltraEdit（文件--转换--ASCII到UTF8）。同样修改sql文件字符集为新的字符集utf8 ,这种方法可行。但缺点是使用Navicat转储SQL文件非常慢，40M的数据就花了一个多小时，伤不起。如果是大存储时间，那如何是好。

另外，在查找资料的过程中，找到了一些关于针对表转换编码的方法：
以原来的字符集为latin1为例，升级成为utf8的字符集。原来的表: old_table (default charset=latin1)，新表：new_table (default charset=utf8)。

第一步：导出旧数据

 mysqldump --default-character-set=latin1 -hlocalhost -uroot -B fol --tables old_table > new_table.sql

第二步：转换编码

转码为utf-8格式，使用UltraEditor，可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)'，或者将文件另存为UTF-8(无BOM)格式在这里，原来的数据默认是gb2312编码。

第三步：导入

修改new_table.sql文件字符集为新的字符集utf8，导入新库newfol

 mysql -hlocalhost -uroot newfol < new.sql

结果显示中文正常。

总结：使用UltraEditor对某个表导出文件转换编码，导入数据正常，大功告成；如果只是对一些表作编码转换，可以使用这种方法。

最后，使用PHP程序等，从数据库中读取数据写入到新库，也是一个好方法。脚本还在测试中……有没好友有现成的呢？不胜感激……

阅读(6699) | 评论(4) | 转发(6) |

0

上一篇：几款桌面MYSQL管理工具

下一篇：Mysqlbinlog工具及导出数据并转换编码导入

=======================================================

  MySQL字符集设置及字符转换（latin1转utf8）  2012-09-11 14:17:36

分类： Mysql/postgreSQL

在生成环境中，会经常碰到Mysql字符的设置问题，CU很多牛人都说过N次了，个人也总结下。

如果在应用开始阶段没有正确的设置字符集，在运行一段时间以后才发现存在不能满足要求需要调整，那么就需要进行字符集的修改。字符集的修改不能直接通过alter dataabase character set ***; 或者　alter table tablename character set ***; 命令进行，这两个命令都没有更新已有记录的字符集，而只是对新创建的表或者记录生效。

在笔者的数据库最为常用的是latin1、utf8，由于项目的整合，字符的要求也开始规范，统一为utf8，那么就需要把之前的latin1字符转换成才utf8格式，那样才不会出现乱码的情况。已有的记录的字符集调整，需要先将数据导出，经过适当的调整重新导入后才可完成。

以下模拟的是将latin1字符集的数据库修改成GBK字符集的数据库的过程。操作较为简单，只要花的时间是在导入和导出数据。下面就来简单的介绍Mysql字符变量和latin1转换到utf8的过程，大家可以根据自己实际情况，举一反三。

一、MySQL字符集设置

• 系统变量：

– character_set_server：默认的内部操作字符集

– character_set_client：客户端来源数据使用的字符集

– character_set_connection：连接层字符集

– character_set_results：查询结果字符集

– character_set_database：当前选中数据库的默认字符集

– character_set_system：系统元数据(字段名等)字符集

– 还有以collation_开头的同上面对应的变量，用来描述字符序。

• 用introducer指定文本字符串的字符集：

– 格式为：[_charset] ‘string’ [COLLATE collation]

– 例如：

• SELECT _latin1 ‘string’;

• SELECT _utf8 ‘你好’ COLLATE utf8_general_ci;

–由introducer修饰的文本字符串在请求过程中不经过多余的转码，直接转换为内部字符集处理。

二、MySQL中的字符集转换过程

1. MySQL Server收到请求时将请求数据从character_set_client转换为character_set_connection；

2. 进行内部操作前将请求数据从character_set_connection转换为内部操作字符集，其确定方法如下：

• 使用每个数据字段的CHARACTER SET设定值；

• 若上述值不存在，则使用对应数据表的DEFAULT CHARACTER SET设定值(MySQL扩展，非SQL标准)；

• 若上述值不存在，则使用对应数据库的DEFAULT CHARACTER SET设定值；

• 若上述值不存在，则使用character_set_server设定值。

3. 将操作结果从内部操作字符集转换为character_set_results。

三、latin1转换到utf8

以原来的字符集为latin1为例，升级成为utf8的字符集。原来的表: databasename (default charset=latin1)，新表：new_databasename(default charset=utf8)。

 mysql> show create database databasename;
 +--------------+-------------------------------------------------------------------------+
 | Database | Create Database |
 +--------------+-------------------------------------------------------------------------+
 | databasename | CREATE DATABASE `databasename` /*!40100 DEFAULT CHARACTER SET latin1 */ |
 +--------------+-------------------------------------------------------------------------+
 1 row in set (0.00 sec)

1> 导出表结构：

 mysqldump -uroot -p --default-character-set=utf8 -d databasename > createtab.sql

其中--default-character-set=utf8 表示设置以什么字符集连接，　-d 表示只导出表结构，不导出数据。

2>修改　createtab.sql 中表结构定义中的字符集为新的字符集。

 sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab.sql `

3>确保记录不再更新，导出所有记录。

 mysqldump -uroot -p --no-create-info databasename > data.sql

可选参数：

--quick: 该选项用于转储大的表。　它强制　mysqldump 从服务器一次一行地检索表中的行而不是　检索所有行，并在输出前将它缓存到内存中。

--extended-insert: 使用包括几个　values 列表的多行insert语法，这样使转储文件更小，重载文件时可以加速插入。

--no-create-info: 不写重新创建每个转储表的create table 语句。

--default-character-set=latin1: 按照原有的字符集导出所有数据，这样导出的文件中，所有中文都是可见的，不会保存成乱码。不添加该参数以默认字符导出。

4>打开data.sql,将　set names latin1 修改成　set names utf8 。

 sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data.sql `

(PS：sed工作效率是非常高的，在测试中60G的数据4分钟就转换完毕了）

5>使用新的字符集创建新的数据库。

 create database new_databasename default charset utf8;

6>创建表，执行　createtab.sql

 mysql -uroot -p new_databasename < createtab.sql

7>导入数据，执行data.sql

 mysql -uroot -p new_databasename < data.sql

8、查看新数据库的字符信息

 mysql> show create database new_databasename;

 +------------------+-----------------------------------------------------------------------------+

 | Database | Create Database |

 +------------------+-----------------------------------------------------------------------------+

 | new_databasename | CREATE DATABASE `new_databasename` /*!40100 DEFAULT CHARACTER SET utf8 */ |

 +------------------+-----------------------------------------------------------------------------+

 1 row in set (0.00 sec)

 mysql> show create table type;

 +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 | Table | Create Table |

 +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 | type | CREATE TABLE `type` (

   `id` int(10) NOT NULL AUTO_INCREMENT,

   `Name` varchar(100) CHARACTER SET gb2312 NOT NULL,

   PRIMARY KEY (`id`)

 ) ENGINE=MyISAM AUTO_INCREMENT=17 DEFAULT CHARSET=utf8 |

 +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 1 row in set (0.00 sec)

注意：选择字符集的时候，要注意最好是源字符的超级，或者确定比源字符集的字库更大。

阅读(12633) | 评论(0) | 转发(3) |

0

上一篇：Monit 5.4 发布，LinuxUnix 系统监控

下一篇：几款桌面MYSQL管理工具

参考：

mysql转码 百度