mysql字符集乱码问题

MySQL处理连接时,外部连接发送过来的SQL请求会根据以下顺序进行转换:

character_set_client           //客户连接所采用的字符集
|
character_set_connection  //MySQL连接字符集
|
character_set_database    //数据库所采用的字符集(表,列)
|
character_set_results        //客户机显示所采用的字符集


一. 产生乱码的根本原因在于:


1.客户机没有正确地设置client字符集,导致原先的SQL语句被转换成connection所指字符集,而这种转换,是会丢失信息的,如果client是utf8格式,那么如果转换成gb2312格式,这其中必定会丢失信息,反之则不会丢失。 一定要保证connection的字符集大于client字符集才能保证转换不丢失信息


2. 数据库字体没有设置正确,如果数据库字体设置不正确,那么connection字符集转换成database字符集照样丢失编码,原因跟上面一样。


二.为什么set names 'gb2312'就可以了呢


set names 'gb2312'相当于这三条语句:


set character_set_client = gb2312;

set character_set_connection = gb2312;

set character_set_results = gb2312;


这样做的话,上述产生乱码的原因1就不存在了, 因为编码格式都统一了 ,但是这样做并不是万金油。原因有:

1.你的client不一定是用gb2312编码发送SQL的,如果编码不是gb2312那么转换成gb2312就会产生问题。

2.你的数据库中的表不一定是gb2312格式,如果不是gb2312格式而是其他的比如说latin1,那么在存储字符集的时候就会产生信息丢失。

综上,终极解决方案如下:

1.首先要明确你的客户端时候何种编码格式,这是最重要的(IE6一般用utf8,命令行一般是gbk,一般程序是gb2312)

2. 确保你的数据库使用utf8格式,很简单,所有编码通吃。

3.一定要保证connection字符集大于等于client字符集,不然就会信息丢失, 比如latin1


若设置set character_set_client = gb2312,那么至少connection的字符集要大于等于gb2312,否则就会丢失信息

4.以上三步做正确的话,那么所有中文都被正确地转换成utf8格式存储进了数据库,为了适应不同的浏览器,不同的客户端, 你可以修改character_set_results来以不同的编码显示中文字体 ,由于utf8是大方向,因此web应用是我还是倾向于使用utf8格式显示中文的。


我现在在mysql上遇到一个问题,我们的字符集是gb2312.在中文模糊查找时,会有不相关的结果集.

从问题的根本原因分析,还有下面的问题。
例: 
汉字“不”的第1、2字节ascii值分别为:178与187 
汉字“安”的第1、2字节ascii值分别为:176与178 
汉字“花”的第1、2字节ascii值分别为:187与168 

聪明的人已经看出来了:在字符串“安花”中模糊查找字符“不”字时,mysql系统也会认为两者匹配!


出现这个问题的原因是: MySQL在查询字符串时是大小写不敏感的,在编绎MySQL时一般以ISO-8859字符集作为默认的字符集,因此在比较过程中中文编码字符大小写转换造成了这种现象


方法一:
解决方法是 对于包含中文的字段加上"binary"属性,使之作为二进制比较,例如将"name char(10)"改成"name char(10)binary"。 


方法二:
如果你使用源码编译MySQL, 可以编译MySQL时使用--with--charset=gbk 参数,这样MySQL就会直接支持中文查找和排序了


方法三:
可以使用 Mysql 的  locate 函数 来判断。以上述问题为例,使用方法为:

SELECT * FROM table WHERE locate(field,'李') > 0;
本站使用的就是这种方法,感觉还不错。:P


方法四:
把您的Select语句改成这样, SELECT * FROM TABLE WHERE FIELDS LIKE BINARY '%FIND%'即可!


升级的根本,如果想使用“正确”的字符集,还是先用mysqldump导出成文件,然后导入。 



数据库编码格式为utf8,表和字段也都是utf8,存进去的格式是utf-8

但是用命令行工具查询命令select * from 表名; 查询出来的中文是乱码

原因:MySQL客户端根本就不能以utf8的形式返回数据

解决如下:  SET NAMES GB2312;   在命令行执行即可解决


关于GBK、GB2312、UTF8


UTF- 8:Unicode Transformation Format-8bit,允许含BOM,但通常不含BOM。是用以解决国际上字符的一种多字节编码, 它对英文使用8位(即一个字节),中文使用24为(三个字节)来编码。UTF-8包含全世界所有国家需要用到的字符,是国际编码,通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示 。如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文语言支持包。


GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。 GBK的文字编码是用双字节来表示的,即不论中、英文字符均使用双字节来表示,为了区分中文,将其最高位都设定成1。GBK包含全部中文字符,是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大


GBK、GB2312等与UTF8之间都 必须通过Unicode编码才能相互转换

GBK、GB2312--Unicode--UTF8

UTF8--Unicode--GBK、GB2312


对于一个网站、论坛来说,如果英文字符较多,则建议使用UTF-8节省空间。不过现在很多论坛的插件一般只支持GBK。


GB2312是GBK的子集,GBK是GB18030的子集

GBK是包括中日韩字符的大字符集合

如果是中文的网站 推荐GB2312 GBK有时还是有点问题

为了避免所有乱码问题,应该采用UTF-8,将来要支持国际化也非常方便

UTF-8可以看作是大字符集,它包含了大部分文字的编码。

使用UTF-8的一个好处是其他地区的用户(如香港台湾)无需安装简体中文支持就能正常观看你的文字而不会出现乱码。


gb2312是简体中文的码

gbk支持简体中文及繁体中文

big5支持繁体中文

utf-8支持几乎所有字符

MySQL中涉及的几个字符集


character-set-server/default-character-set:服务器字符集,默认情况下所采用的。

character-set-database:数据库字符集。

character-set-table:数据库表字符集。


优先级依次增加。 所以一般情况下只需要设置character-set-server,而在创建数据库和表时不特别指定字符集,这样统一采用character-set-server字符集


character-set-client:客户端的字符集。 客户端默认字符集。当客户端向服务器发送请求时,请求以该字符集进行编码

character-set-results:结果字符集。 服务器向客户端返回结果或者信息时,结果以该字符集进行编码


在客户端,如果没有定义character-set-results,则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。


要处理中文,则可以将character-set-server和character-set-client均设置为GB2312,如果要同时处理多国语言,则设置为UTF8。


关于MySQL的中文问题


解决乱码的方法是,在执行SQL语句之前,将MySQL以下三个系统参数设置为与服务器字符集character-set-server相同的字符集。

character_set_client:客户端的字符集。
character_set_results:结果字符集。
character_set_connection:连接字符集。


设置这三个系统参数通过向MySQL发送语句:set names gb2312 



mysql>  show variables like '%character%';




+--------------------------+--------------------------------+
| Variable_name            | Value                          |
+--------------------------+--------------------------------+
| character_set_client     | utf8                           |
| character_set_connection | utf8                           |
| character_set_database   | utf8                           |
| character_set_filesystem | binary                         |
| character_set_results    | utf8                           |
| character_set_server     | utf8                           |
| character_set_system     | utf8
 
说明服务器端设置正常
然后我又用linux远程连接mysql,查询结果中文乱码
再次查看编码方式:


mysql>  show variables like '%character%';


+--------------------------+--------------------------------+
| Variable_name            | Value                          |
+--------------------------+--------------------------------+
| character_set_client     | latin1                         |
| character_set_connection | latin1                         |
| character_set_database   | utf8                           |
| character_set_filesystem | binary                         |
| character_set_results    | latin1                         |
| character_set_server     | utf8                           |
| character_set_system     | utf8



每次查询前设置查询结果集编码为utf8  即set character_set_results=utf8  


解决Mysql导入乱码问题

方法一:  通过增加参数 –default-character-set = utf8 解决乱码问题 


C:\Users\Administrator>mysql -uroot -p yktgl < F:\YIKATONG\application\gl.sql --default-character-set=utf8


方法二: 在命令行导入乱码解决

1.mysql>use gl; 
2.mysql>  set names utf8; 
3.mysql>source example.sql 
mysql -u root -p  --default-character-set=utf8 
use dbname 
source /root/newsdata.sql

方法三: 直接粘贴sql文件里的代码 
1. 打开SQLyog客户端软件; 
2. 定位到SQL编辑器,然后用记事本打开刚刚导出的SQL文件; 
3. 复制文件中所有SQL语句到SQL编辑器当中,执行这些SQL代码;




二、导出数据
mysqldump -u root -p --default-character-set=utf8 gl> gl.sql
  
定义编码导入
mysql -u root -p --default-character-set=utf8 -f discuss_chi 如还是乱码使用二进导入

mysql -u root -p  --default-character-set=binary  -f discuss_chi
 
还是不行,导出和导入都使用二进方式

导出
mysqldump -u root -p  --default-character-set=binary  discuss_chi> dis.sql 


导入
mysql -u root -p  --default-character-set=binary  -f discuss_chi



统一字符集保证不乱码:建议中英文环境选择utf8


1.linux系统语言
/etc/sysconfig/i18n
LANG="zh_CN.utf8"
 
2.mysql客户端
临时:
set names utf8;
永久:
配置文件my.cnf
[client]
default-charater-set=utf8


3.mysql服务端
[mysqld]
character-set-server=utf8
 
4.mysql建库建表语句
指定字符集建库
create database oldboy_utf8 default character set uft8 collate utf8_general_ci;
指定字符集建表
create table student (
id int(4) not null auto_increment,
name char(20) not null,
primary key(id)
)engine=inonodb auto_increment=10 default charset=utf8
 
5.开发程序的字符集


模拟将latin1字符集的数据库修改成GBK字符集的实际过程


1.导出表结构

mysqldump -uroot -p --default-character-set=latin1 -d dbname >alltatale.sql
--default-character-set=latin1 以latin1连接 -d只导表结构

2.编辑alltable.sql将latin1改成gbk
sed替换


3.确保数据库不在更新,导出所有数据
mysqldump -uroot -p --quick --no-create-info --extended-insert  --default-character-set=latin1  dbname >alldata.sql 

4.打开alldata.sql将set names latin1修改成set names gbk;(或者修改系统的服务端和客户端)

5.建库

create database dbname  default charset bgk ;

6.创建表,执行alltable.sql

mysql -uroot -p dbname

7.导入数据
mysql -uroot -dbname < alldata.sql 


一,临时修改字符集
查看库表的字符集


show  create  database  库名\G;
根据结尾的字符集,进行临时修改

set  names 库表的字符集

二,永久更改字符集
这里说下不乱码的思想:把linux,Mysql客户端,Mysql服务端,库,表,程序的字符集全部统一(建议utf8)

1,改my.cnf

[client]
default-character-set=utf8
[mysqld]
default-character-set=utf8   #适合5.1及以前版本
character-set-server=utf8    #适合5.5版本
2,linux字符集修改

vim /etc/sysconfig/i18n   
LANG="zh_CN.UTF-8"
3,库,表

create  database  test_utf8   DEFAULT CHARACTER  SET  utf8   COLLATE  utf8_general_ci;

4,应用程序

选择utf8版本下载

5,查看当前字符集,字符集全部一样修改成功

show   variables   like  'character_set%'; 


MySQL的字符集支持(Character Set Support)有两个方面: 
1、字符集(Character set)
2、排序方式(Collation)。 
对于字符集的支持细化到四个层次: 
1、服务器(server)
2、数据库(database)
3、数据表(table)
4、连接(connection)
注意:MySQL对于字符集的指定可以细化到一个数据库,一张表,一列,应该用什么字符集。
###################################################################


第一问:mysql默认字符集能否进行修改呢?
1、修改配置文件:
[mysqld]
default-character-set = utf8 
default-collation=utf8_general_ci
#character_set_server = utf8
#[client]
#default-character-set=utf8
修改完后,重启mysql的服务,service mysql restart
2、命令修改(不推荐,除非有特殊情况)
mysql> SET character_set_client = utf8 ;  
mysql> SET character_set_connection = utf8 ;   
mysql> SET character_set_database = utf8 ;   
mysql> SET character_set_results = utf8 ;    
mysql> SET character_set_server = utf8 ;   
mysql> SET collation_connection = utf8 ;  
mysql> SET collation_database = utf8 ;   
mysql> SET collation_server = utf8 ; 
有时候设置了表的默认字符集为utf8并且通过UTF-8编码发送查询,存入数据库的仍然是乱码。那connection连接层上可能出了问题。

解决方法是在发送查询前执行一下下面这句: SET NAMES 'utf8';它相当于下面的三句指令:

SET character_set_client = utf8;
SET character_set_results = utf8;
SET character_set_connection = utf8;

注意:具体的参数和MySQL的安装方式以及版本有密切关系,比较成熟的版本默认字符集是utf-8,当然具体怎么定义,可参考官方文档。
###################################################################

第二问:查看MySQL默认字符集(默认情况下,mysql的字符集是latin1) 
通常,查看系统的字符集和排序方式的设定可以通过下面的两条命令:
SHOW VARIABLES LIKE 'character%'; 
SHOW VARIABLES LIKE 'collation_%'; 

###################################################################

第三问:传统的程序在创建数据库和数据表时并没有使用那么复杂的配置,它们用的是默认的配置,那么,默认的配置从何而来呢? 
(1) 编译MySQL 时,指定了一个MySQL默认的字符集,这个字符集是 latin1; 
(2)安装MySQL 时,可以在配置文件 (my.cnf,或者my.ini) 中指定一个默认的的字符集,如果没指定,这个值继承自编译时指定的; 
(3)启动mysqld 时,可以在命令行参数中指定一个默认的的字符集,如果没指定,这个值继承自配置文件中的配置,此时 character_set_server 被设定为这个默认的字符集;
(4)当创建一个新的数据库时,除非明确指定,这个数据库的字符集被缺省设定为character_set_server; 
(5)当选定了一个数据库时,character_set_database 被设定为这个数据库默认的字符集;  
(6)在这个数据库里创建一张表时,表默认的字符集被设定为 character_set_database,也就是这个数据库默认的字符集;
(7)当在表内设置一栏时,除非明确指定,否则此栏缺省的字符集就是表默认的字符集; 
简单的总结一下,如果什么地方都不修改,那么所有的数据库的所有表的所有栏位的都用 latin1 存储,不过我们如果安装 MySQL,一般都会选择多语言支持,也就是说,安装程序会自动在配置文件中把 default_character_set 设置为 UTF-8,这保证了缺省情况下,所有的数据库的所有表的所有栏位的都用 UTF-8 存储。
###################################################################


第四问:还有什么情况下会由于MySQL的原因导致乱码?
这种情况可能和使用高可用软件或者插件导致的,比如mysql-proxy等
例子:mysql proxy 乱码问题 
有时候通过proxy连上数据库之后,查到的字符串始终是乱码,即便手工执行了set names ‘utf8′也没有效果。
解决办法,mysql server必须设置
修改my.cnf文件
[mysqld]


skip-character-set-client-handshake
init-connect='SET NAMES utf8'
default-character-set=utf8
###################################################################


第五问:什么原因还会导致乱码问题?
1、浏览器问题
2、代理问题
3、代码字符集问题

4、数据库代理字符集问题





一、查看 MySQL 数据库服务器和数据库字符集


mysql> show variables like '%char%';
+--------------------------+-------------------------------------+------
| Variable_name            | Value                               |......
+--------------------------+-------------------------------------+------
| character_set_client     | utf8                                |......   -- 客户端字符集
| character_set_connection | utf8                                |......
| character_set_database   | utf8                                |......   -- 数据库字符集
| character_set_filesystem | binary                              |......
| character_set_results    | utf8                                |......
| character_set_server     | utf8                                |......   -- 服务器字符集
| character_set_system     | utf8                                |......
| character_sets_dir       | D:\MySQL Server 5.0\share\charsets\ |......
+--------------------------+-------------------------------------+------


二、查看 MySQL 数据表(table) 的字符集


mysql> show table status from sqlstudy_db like '%countries%';
+-----------+--------+---------+------------+------+-----------------+------
| Name      | Engine | Version | Row_format | Rows | Collation       |......
+-----------+--------+---------+------------+------+-----------------+------
| countries | InnoDB |      10 | Compact    |   11 | utf8_general_ci |......
+-----------+--------+---------+------------+------+-----------------+------


三、查看 MySQL 数据列(column)的字符集


mysql> show full columns from countries;
+----------------------+-------------+-----------------+--------
| Field                | Type        | Collation       | .......
+----------------------+-------------+-----------------+--------
| countries_id         | int(11)     | NULL            | .......
| countries_name       | varchar(64) | utf8_general_ci | .......
| countries_iso_code_2 | char(2)     | utf8_general_ci | .......
| countries_iso_code_3 | char(3)     | utf8_general_ci | .......
| address_format_id    | int(11)     | NULL            | .......
+----------------------+-------------+-----------------+--------


四、查看当前安装的 MySQL 所支持的字符集


mysql> show charset;
+----------+-----------------------------+---------------------+--------+
| Charset | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
| big5     | Big5 Traditional Chinese    | big5_chinese_ci     |      2 |
| dec8     | DEC West European           | dec8_swedish_ci     |      1 |
| cp850    | DOS West European           | cp850_general_ci    |      1 |
| hp8      | HP West European            | hp8_english_ci      |      1 |
| koi8r    | KOI8-R Relcom Russian       | koi8r_general_ci    |      1 |
| latin1   | cp1252 West European        | latin1_swedish_ci   |      1 |
| latin2   | ISO 8859-2 Central European | latin2_general_ci   |      1 |
| swe7     | 7bit Swedish                | swe7_swedish_ci     |      1 |
| ascii    | US ASCII                    | ascii_general_ci    |      1 |
| ujis     | EUC-JP Japanese             | ujis_japanese_ci    |      3 |
| sjis     | Shift-JIS Japanese          | sjis_japanese_ci    |      2 |
| hebrew   | ISO 8859-8 Hebrew           | hebrew_general_ci   |      1 |
| tis620   | TIS620 Thai                 | tis620_thai_ci      |      1 |
| euckr    | EUC-KR Korean               | euckr_korean_ci     |      2 |
| koi8u    | KOI8-U Ukrainian            | koi8u_general_ci    |      1 |
| gb2312   | GB2312 Simplified Chinese   | gb2312_chinese_ci   |      2 |
| greek    | ISO 8859-7 Greek            | greek_general_ci    |      1 |
| cp1250   | Windows Central European    | cp1250_general_ci   |      1 |
| gbk      | GBK Simplified Chinese      | gbk_chinese_ci      |      2 |
| latin5   | ISO 8859-9 Turkish          | latin5_turkish_ci   |      1 |
| armscii8 | ARMSCII-8 Armenian          | armscii8_general_ci |      1 |
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 |
| ucs2     | UCS-2 Unicode               | ucs2_general_ci     |      2 |
| cp866    | DOS Russian                 | cp866_general_ci    |      1 |
| keybcs2 | DOS Kamenicky Czech-Slovak | keybcs2_general_ci |      1 |
| macce    | Mac Central European        | macce_general_ci    |      1 |
| macroman | Mac West European           | macroman_general_ci |      1 |
| cp852    | DOS Central European        | cp852_general_ci    |      1 |
| latin7   | ISO 8859-13 Baltic          | latin7_general_ci   |      1 |
| cp1251   | Windows Cyrillic            | cp1251_general_ci   |      1 |
| cp1256   | Windows Arabic              | cp1256_general_ci   |      1 |
| cp1257   | Windows Baltic              | cp1257_general_ci   |      1 |
| binary   | Binary pseudo charset       | binary              |      1 |
| geostd8 | GEOSTD8 Georgian            | geostd8_general_ci |      1 |
| cp932    | SJIS for Windows Japanese   | cp932_japanese_ci   |      2 |
| eucjpms | UJIS for Windows Japanese   | eucjpms_japanese_ci |      3 |
+----------+-----------------------------+---------------------+--------+
以上查看 MySQL 字符集命令,适用于 Windows & Linux
 
Liunx下修改MySQL字符集:


1.查找MySQL的cnf文件的位置


find / -iname '*.cnf' -print

/usr/share/mysql/my-innodb-heavy-4G.cnf
/usr/share/mysql/my-large.cnf
/usr/share/mysql/my-small.cnf
/usr/share/mysql/my-medium.cnf
/usr/share/mysql/my-huge.cnf
/usr/share/texmf/web2c/texmf.cnf
/usr/share/texmf/web2c/mktex.cnf
/usr/share/texmf/web2c/fmtutil.cnf
/usr/share/texmf/tex/xmltex/xmltexfmtutil.cnf
/usr/share/texmf/tex/jadetex/jadefmtutil.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-innodb-heavy-4G.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-large.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-small.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-medium.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-huge.cnf


2. 拷贝 small.cnf、my-medium.cnf、my-huge.cnf

    my-innodb-heavy-4G.cnf,其中的一个到/etc下命名为my.cnf


    cp /usr/share/mysql/my-medium.cnf /etc/my.cnf


3. 修改my.cnf


vi /etc/my.cnf

在[client]下添加

default-character-set=utf8

在[mysqld]下添加
default-character-set=utf8


4.重新启动MySQL


[root@bogon ~]# /etc/rc.d/init.d/mysql restart
Shutting down MySQL                                         [ 确定 ]
Starting MySQL.                                                  [ 确定 ]


[root@bogon ~]# mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.1.22-rc-community-log MySQL Community Edition (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.


其他的一些设置方法:


修改数据库的字符集


mysql>use mydb
mysql>alter database mydb character set utf-8;
创建数据库指定数据库的字符集


mysql>create database mydb character set utf-8;
通过配置文件修改:


修改/var/lib/mysql/mydb/db.opt

default-character-set=latin1
default-collation=latin1_swedish_ci



default-character-set=utf8
default-collation=utf8_general_ci


重起MySQL:
[root@bogon ~]# /etc/rc.d/init.d/mysql restart


通过MySQL命令行修改:


mysql> set character_set_client=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_connection=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_database=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_results=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_server=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_system=utf8;
Query OK, 0 rows affected (0.01 sec)


mysql> set collation_connection=utf8;
Query OK, 0 rows affected (0.01 sec)


mysql> set collation_database=utf8;
Query OK, 0 rows affected (0.01 sec)


mysql> set collation_server=utf8;
Query OK, 0 rows affected (0.01 sec)





清空缓存的方法主要用flush命令 为了执行FLUSH,你必须有reload权限

flush hosts主要是用来清空主机缓存表

flush logs主要是关闭当前的二进制日志文件并创建一个新文件

flush privileges主要是每当重新赋权后,为了以防万一,让新权限立即生效

flush tables主要是关闭所有打开的表,同时该操作将会清空查询缓存中的内容

flush tables with read lock主要是关闭所有打开的表同时对于所有数据库中的表都加一个读锁

flush status重置大多数状态变量到0

flush master删除所有的二进制日志索引文件中的二进制日志文件

flush query cache重整查询缓存,消除其中的碎片,提高性能

flush slave类似于重置复制,让从数据库忘记主数据库的复制位置



你可能感兴趣的:(mysql字符集乱码问题)