MySQL字符集设置及字符转换
分类： Mysql/postgreSQL
背景：系统的mysql数据库fol采用默认的latin1字符集，里面的字段在GB2312下显示正常。系统升级需要将所有数据转换成utf-8格式，目标数据库为newfol(建库时使用utf8 )
- create database newfol default charset utf8 COLLATE utf8_general_ci;
操作系统：RHEL5 x86
Mysql版本：5.1.57-log MySQL Community Server (GPL)
首先，使用替换Mysql字符集的方法转码，此方法在Navicat使用Mysql字符集连接数据库，显示中文正常的情况下，测试成功。如图：
1> 导出表结构：
- mysqldump -uroot -p --default-character-set=utf8 -d fol > createtab_fol.sql
其中--default-character-set=utf8 表示设置以什么字符集连接， -d 表示只导出表结构，不导出数据。
2>修改 createtab.sql 中表结构定义中的字符集为新的字符集。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab_fol.sql `
注：如果有设置latin1_general_ci字符集，那么要对应改成utf8_general_ci，下同
3>确保记录不再更新，导出所有记录。
- mysqldump -uroot -p --no-create-info fol > data_fol.sql
可选参数：
--no-create-info: 不写重新创建每个转储表的create table 语句。
4>打开data_fol.sql，将CHARSET=latin1修改成CHARSET=utf8 。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data_fol.sql `
5>使用新的字符集创建新的数据库。
- create database newfol default charset utf8 COLLATE utf8_general_ci;
6>创建表，执行createtab.sql
- mysql -uroot -p newfol< createtab_fol.sql
7>导入数据，执行data_fol.sql
- mysql -uroot -p newfol < data_fol.sql
8>使用客户端工具Navict连接，查看字符，乱码……宣告失败。
总结：在数据库默认为latin1字符集，字段为GB2312，直接修改表结构文件和数据文件为utf8格式，实际没有对中文生效。只有在默认为latin1字符集，中文为默认Mysql字符，才生效。
于是，搜索了互联网相关Mysql转换方法。
方法一：
步骤一> 命令行执行：
- mysqldump --opt -uroot -p --default-character-set=latin1 fol > /tmp/newfol.sql
步骤二 > 将 newfol.sql 文件中的create table语句的CHARSET=latin1改为CHARSET=utf8
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/newfol.sql `
步骤四 > 将newfol.sql转码为utf-8格式，建议使用UltraEditor，可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)'，或者将文件另存为UTF-8(无BOM)格式
步骤五 > 命令行执行导入：
- mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql
看到了华丽丽的中文了。哈哈
方法二
第一步，导出旧库
- mysqldump --default-character-set=latin1 -uroot -p fol > /tmp/old.sql
第三步，使用iconv工具转换编码
- iconv -t utf-8 -f gb2312 -c /tmp/old.sql > /tmp/new_utf8.sql
第二步，打开old.sql，将CHARSET=latin1修改成CHARSET=utf8 。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/new_utf8.sql `
第四步，导入新库
修改new_utf8.sql，增加一条sql语句："SET NAMES utf8;"，保存。
如果是大文件，建议使用sed命令插入，如 sed -i '22 i\SET NAMES utf8;'
即在22行之前插入一条SQL语句。
- mysql -hlocalhost -uroot newfol < new_utf8.sql
测试也成功通过，不乱码……
方法三：
Mysql5版本以上在使用 mysqldump的时候加上 --compatible=mysql40 参数，就可以指定编码,对导出文件进行格式转换。
1、用mysqldump将latin1编码的数据库导出成为sql文件。
- mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql
重点：--compatible=mysql40 --default-character-set=latin1 当指定了--compatible=mysql40参数后，可以指定数据库编码。
2、第二步，建立一个新库，采集字符集设定为utf8-general-li
将导出的newfol.sql 转换为UTF-8编码，可以使用UltraEdit（文件--转换--ASCII到UTF8）。后面的操作和第一种方法第二步骤开始一样。
结果测试是乱码。太伤心了……
经过不断测试和努力，用另外一种方法也把数据转换成功了，使用如下方法。
在和同事讨论了这个问题，得知在Navicat中使用GB2312字符连接，在正常显示中文的时候，转储SQL文件，然后用过UltraEdit（文件--转换--ASCII到UTF8）。同样修改sql文件字符集为新的字符集utf8 ,这种方法可行。但缺点是使用Navicat转储SQL文件非常慢，40M的数据就花了一个多小时，伤不起。如果是大存储时间，那如何是好。
另外，在查找资料的过程中，找到了一些关于针对表转换编码的方法：
以原来的字符集为latin1为例，升级成为utf8的字符集。原来的表: old_table (default charset=latin1)，新表：new_table (default charset=utf8)。
第一步：导出旧数据
- mysqldump --default-character-set=latin1 -hlocalhost -uroot -B fol --tables old_table > new_table.sql
第二步：转换编码
转码为utf-8格式，使用UltraEditor，可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)'，或者将文件另存为UTF-8(无BOM)格式在这里，原来的数据默认是gb2312编码。
第三步：导入
修改new_table.sql文件字符集为新的字符集utf8，导入新库newfol
- mysql -hlocalhost -uroot newfol < new.sql
结果显示中文正常。
总结：使用UltraEditor对某个表导出文件转换编码，导入数据正常，大功告成；如果只是对一些表作编码转换，可以使用这种方法。
最后，使用PHP程序等，从数据库中读取数据写入到新库，也是一个好方法。脚本还在测试中……有没好友有现成的呢？不胜感激……
上一篇：几款桌面MYSQL管理工具
下一篇：Mysqlbinlog工具及导出数据并转换编码导入
=======================================================
分类： Mysql/postgreSQL
在生成环境中，会经常碰到Mysql字符的设置问题，CU很多牛人都说过N次了，个人也总结下。
如果在应用开始阶段没有正确的设置字符集，在运行一段时间以后才发现存在不能满足要求需要调整，那么就需要进行字符集的修改。字符集的修改不能直接通过alter dataabase character set ***; 或者 alter table tablename character set ***; 命令进行，这两个命令都没有更新已有记录的字符集，而只是对新创建的表或者记录生效。
在笔者的数据库最为常用的是latin1、utf8，由于项目的整合，字符的要求也开始规范，统一为utf8，那么就需要把之前的latin1字符转换成才utf8格式，那样才不会出现乱码的情况。已有的记录的字符集调整，需要先将数据导出，经过适当的调整重新导入后才可完成。
以下模拟的是将latin1字符集的数据库修改成GBK字符集的数据库的过程。操作较为简单，只要花的时间是在导入和导出数据。下面就来简单的介绍Mysql字符变量和latin1转换到utf8的过程，大家可以根据自己实际情况，举一反三。
一、MySQL字符集设置
• 系统变量：
– character_set_server：默认的内部操作字符集
– character_set_client：客户端来源数据使用的字符集
– character_set_connection：连接层字符集
– character_set_results：查询结果字符集
– character_set_database：当前选中数据库的默认字符集
– character_set_system：系统元数据(字段名等)字符集
– 还有以collation_开头的同上面对应的变量，用来描述字符序。
• 用introducer指定文本字符串的字符集：
– 格式为：[_charset] ‘string’ [COLLATE collation]
– 例如：
• SELECT _latin1 ‘string’;
• SELECT _utf8 ‘你好’ COLLATE utf8_general_ci;
–由introducer修饰的文本字符串在请求过程中不经过多余的转码，直接转换为内部字符集处理。
二、MySQL中的字符集转换过程
1. MySQL Server收到请求时将请求数据从character_set_client转换为character_set_connection；
2. 进行内部操作前将请求数据从character_set_connection转换为内部操作字符集，其确定方法如下：
• 使用每个数据字段的CHARACTER SET设定值；
• 若上述值不存在，则使用对应数据表的DEFAULT CHARACTER SET设定值(MySQL扩展，非SQL标准)；
• 若上述值不存在，则使用对应数据库的DEFAULT CHARACTER SET设定值；
• 若上述值不存在，则使用character_set_server设定值。
3. 将操作结果从内部操作字符集转换为character_set_results。
三、latin1转换到utf8
以原来的字符集为latin1为例，升级成为utf8的字符集。原来的表: databasename (default charset=latin1)，新表：new_databasename(default charset=utf8)。
- mysql> show create database databasename;
- +--------------+-------------------------------------------------------------------------+
- | Database | Create Database |
- +--------------+-------------------------------------------------------------------------+
- | databasename | CREATE DATABASE `databasename` /*!40100 DEFAULT CHARACTER SET latin1 */ |
- +--------------+-------------------------------------------------------------------------+
- 1 row in set (0.00 sec)
- mysqldump -uroot -p --default-character-set=utf8 -d databasename > createtab.sql
其中--default-character-set=utf8 表示设置以什么字符集连接， -d 表示只导出表结构，不导出数据。
2>修改 createtab.sql 中表结构定义中的字符集为新的字符集。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab.sql `
3>确保记录不再更新，导出所有记录。
- mysqldump -uroot -p --no-create-info databasename > data.sql
可选参数：
--quick: 该选项用于转储大的表。 它强制 mysqldump 从服务器一次一行地检索表中的行而不是 检索所有行，并在输出前将它缓存到内存中。
--extended-insert: 使用包括几个 values 列表的多行insert语法，这样使转储文件更小，重载文件时可以加速插入。
--no-create-info: 不写重新创建每个转储表的create table 语句。
--default-character-set=latin1: 按照原有的字符集导出所有数据，这样导出的文件中，所有中文都是可见的，不会保存成乱码。不添加该参数以默认字符导出。
4>打开data.sql,将 set names latin1 修改成 set names utf8 。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data.sql `
(PS：sed工作效率是非常高的，在测试中60G的数据4分钟就转换完毕了）
5>使用新的字符集创建新的数据库。
- create database new_databasename default charset utf8;
6>创建表，执行 createtab.sql
- mysql -uroot -p new_databasename < createtab.sql
7>导入数据，执行data.sql
- mysql -uroot -p new_databasename < data.sql
- mysql> show create database new_databasename;
-
- +------------------+-----------------------------------------------------------------------------+
-
- | Database | Create Database |
-
- +------------------+-----------------------------------------------------------------------------+
-
- | new_databasename | CREATE DATABASE `new_databasename` /*!40100 DEFAULT CHARACTER SET utf8 */ |
-
- +------------------+-----------------------------------------------------------------------------+
-
- 1 row in set (0.00 sec)
-
- mysql> show create table type;
-
- +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
-
- | Table | Create Table |
-
- +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
-
- | type | CREATE TABLE `type` (
-
- `id` int(10) NOT NULL AUTO_INCREMENT,
-
- `Name` varchar(100) CHARACTER SET gb2312 NOT NULL,
-
- PRIMARY KEY (`id`)
-
- ) ENGINE=MyISAM AUTO_INCREMENT=17 DEFAULT CHARSET=utf8 |
-
- +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
-
- 1 row in set (0.00 sec)
注意：选择字符集的时候，要注意最好是源字符的超级，或者确定比源字符集的字库更大。
上一篇：Monit 5.4 发布，LinuxUnix 系统监控
下一篇：几款桌面MYSQL管理工具
参考：
mysql转码 百度