撒网要见鱼
撒网要见鱼

【字符编码系列】常用的几种字符编码(GBK，UTF-8，UTF-16)

引言

如果不知道是什么编码，先试试UTF-8！

写在前面的话

本文属于 字符编码系列文章之一，更多请前往 字符编码系列。

题纲

  • 基本概念

  • 欧美的编码

    • ASCII码
    • ISO-8859-1编码

  • 中文系列编码

    • GB2312编码
    • GBK编码
    • BIG5编码
    • GB18030编码
    • ANSI 编码
  • Unicode与UCS
  • Unicode标准

  • Unicode编码的不同实现

    • UTF-8编码
    • UTF-16编码
    • UTF-32编码

基本概念

关于字符编码的简介以及发展编年史可以参考 【字符编码系列】字符，字符集，字符编码解惑

本文主要详细介绍各个编码的特点以及实现。

欧美的编码

ASCII码

简介

(American Standand Code for InformationInterchange)的缩写

ASCII码是计算机最开始支持的基于拉丁字母的编码，一个字符用一个字节表示，只用了低7位，最高位为0，因此总共有128个ASCII码，范围为0~127。

编码范围

0~127(总共有128个ASCII码),详情百度(google)ASCII码表

适用范围以及存在问题

适用于现代英文和其它西欧语言

但是由于编码范围有限,所以无法支持多种地区的语言,后来就产生了各种其它的编码方案

特性

单字节编码

只占用一个字节

高位不占用，最多为(01111111)

ISO-8859-1编码

简介

即”标准码”，通常叫做Latin-1

ISO-8859-1编码是单字节编码，向下兼容ASCII，其编码范围是0x00-0xFF，0x00-0x7F之间完全和ASCII一致，0x80-0x9F之间是控制字符，0xA0-0xFF之间是文字符号

编码范围

0x00-0xFF(0-255)

适用范围以及存在问题

此字符集支持部分于欧洲使用的语言，包括阿尔巴尼亚语、巴斯克语、布列塔尼语、加泰罗尼亚语、丹麦语、荷兰语、法罗语、弗里西语、加利西亚语、德语、格陵兰语、冰岛语、爱尔兰盖尔语、意大利语、拉丁语、卢森堡语、挪威语、葡萄牙语、里托罗曼斯语、苏格兰盖尔语、西班牙语及瑞典语。

但是不支持中文和东亚等国的语言.

特性

单字节编码

只占用一个字节

高位可以用，最多为(11111111)

中文编码系列

GB2312编码

简介

GB是”国标”两字的拼音首字,2312是标准序号

GB2312编码是第一个汉字编码国家标准，由中国国家标准总局1980年发布，1981年5月1日开始使用。GB2312编码共收录汉字6763个，其中一级汉字3755个，二级汉字3008个。同时，GB2312编码收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个全角字符。

(GB2312中的字符是全角字符,ASCII原始的字符是半角字符)

编码范围

A1A1－FEFE(41377-65278)

其中汉字编码范围：B0A1-F7FE(45217-63486)。

适用范围以及存在问题

基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆99.75%的使用频率。但对于人名、古汉语等方面出现的罕用字和繁体字，GB 2312不能处理，因此后来GBK及GB 18030汉字字符集相继出现以解决这些问题

中国大陆几乎所有的中文系统和国际化的软件都支持GB 2312

特性

分区表示

GB2312编码对所收录字符进行了“分区”处理，共94个区，每区含有94个位，共8836个码位。这种表示方式也称为区位码。

01-09区收录除汉字外的682个字符。

10-15区为空白区，没有使用。

16-55区收录3755个一级汉字，按拼音排序。

56-87区收录3008个二级汉字，按部首/笔画排序。

88-94区为空白区，没有使用。

举例来说，“啊”字是GB2312编码中的第一个汉字，它位于16区的01位，所以它的区位码就是1601

双字节编码

GB2312规定对收录的每个字符采用两个字节表示，第一个字节为“高字节”，对应94个区；第二个字节为“低字节”，对应94个位。所以它的区位码范围是：0101－9494。区号和位号分别加上0xA0就是GB2312编码。例如最后一个码位是9494，区号和位号分别转换成十六进制是5E5E，0x5E+0xA0＝0xFE，所以该码位的GB2312编码是FEFE。

GB2312编码范围：A1A1－FEFE，其中汉字的编码范围为B0A1-F7FE，第一字节0xB0-0xF7（对应区号：16－87），第二个字节0xA1-0xFE（对应位号：01－94）

GBK编码

简介

即汉字国标扩展码,

GBK编码，是对GB2312编码的扩展，因此完全兼容GB2312-80标准。GBK编码依然采用双字节编码方案，其编码范围：8140－FEFE，剔除xx7F码位，共23940个码位。共收录汉字和图形符号21886个，其中汉字（包括部首和构件）21003个，图形符号883个。GBK编码支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字，并包含了BIG5编码中的所有汉字。GBK编码方案于1995年12月15日正式发布，这一版的GBK规范为1.0版。

Windows 95系统就是以GBK为内码，又由于GBK同时也涵盖了Unicode所有CJK汉字，所以也可以和Unicode做一一对应

编码范围

8140－FEFE (33088-65278)

全部编码分为三大部分:1.汉字区;2.图形符号区;3.用户自定义区(详情见特性码位分配及顺序)

适用范围以及存在问题

几乎完美支持汉字,但是不支持部分国家的语言(如一些东亚国家,日本等)

所以经常会有GBK到UNICODE的转换

特性

字汇

GBK 规范收录了 ISO 10646.1 中的全部 CJK 汉字和符号，并有所补充。具体包括：

  1. GB 2312 中的全部汉字、非汉字符号。
  2. GB 13000.1 中的其他 CJK 汉字。以上合计 20902 个 GB 化汉字。
  3. 《简化字总表》中未收入 GB 13000.1 的 52 个汉字。
  4. 《康熙字典》及《辞海》中未收入 GB 13000.1 的 28 个部首及重要构件。
  5. 13 个汉字结构符。
  6. BIG-5 中未被 GB 2312 收入、但存在于 GB 13000.1 中的 139 个图形符号。
  7. GB 12345 增补的 6 个拼音符号。
  8. 汉字“○”。
  9. GB 12345 增补的 19 个竖排标点符号（GB12345 较 GB 2312 增补竖排标点符号 29 个，其中 10 个未被 GB 13000.1 收入，故 GBK 亦不收）。
  10. 从 GB 13000.1 的 CJK 兼容区挑选出的 21 个汉字。
  11. GB 13000.1 收入的 31 个 IBM OS/2 专用符号。
  12. 未录入《新华字典》上的一些字，如“韡”的简体。
码位分配及顺序

GBK 亦采用双字节表示，总体编码范围为 8140-FEFE，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 xx7F 一条线。总计 23940 个码位，共收入 21886 个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号 883 个。

误处理

低字节是0x40-0x7E的GBK字符有一定特殊性，因为这些字符占用了ASCII码的位置，这样会给一些系统带来麻烦。

有些系统中用0x40-0x7E中的字符（如“|”）做特殊符号，在定位这些符号时又没有判断这些符号是不是属于某个 GBK字符的低字节，这样就会造成错误判断。在支持GB2312的环境下就不存在这个问题。需要注意的是支持GBK的环境中小于0x80的某个字节未必就 是ASCII符号；另外就是最好选用小于0×40的ASCII符号做一些特殊符号，这样就可以快速定位，且不用担心是某个汉字的另一半。Big5编码中也存在相应问题。

双字节编码

遵循GB2312规定

BIG5 编码

简介

BIG5编码又称大五码，是繁体中文字符集编码标准，共收录13060个中文字，其中有二字为重复编码。

BIG5重复地收录了两个相同的字：“兀、兀”（A461及C94A)、“嗀、嗀”(DCD1及DDFC)。

编码范围

8140－FEFE(33088-65278)

其中汉字编码范围：A440-F9DC(42048-63964)

BIG5采用双字节编码，使用两个字节来表示一个字符。高位字节使用了0x81-0xFE，低位字节使用了0x40-0x7E，及0xA1-0xFE

适用范围以及存在问题

适用于台湾和香港地区的繁体中文系统软件等.不过由于编码本身存在的问题.已经基本改用Unicode编码了.

兼容问题

由于各厂商及政府推出的Big5延伸，彼此互不兼容，造成乱码问题。

冲码问题

因为低位元字符中包含了编程语言、shell、script 中，字串或命令常会用到的特殊字符，例如0x5C “”、0x7C “|”等。“”在许多用途的字串中是当作转义符号又称为跳脱字符，例如 n（换行）、r（归位）、t（tab）、\（本身符号）、"（引号）等等。而 “|” 在UNIX操作系统中大多当作命令管线的使用，如 "ls -la | more" 等等。如果在字串中有这些特殊的转义字符，会被程式或直译器解释为特殊用途。但是因为是中文的原因，故无法正确解释为上面所述的行为，因此程式可能会忽略此转义符号或是中断执行。若此，就违反了使用者本来要当成中文字符一部份使用的本意。

在常用字如“功”（0xA55C)、“许”（0xB35C)、“盖”（0xBB5C)、“育”（0xA87C)中时常出现，造成了许多软件无法正确处理以Big5编码的字串或文件。这个问题被戏谑性地人名化，称为“许功盖”或“许盖功”（这三个字都有这种问题）。但是额外的困扰是，有些输出功能并不会把“”当作特殊字符看待，所以有些程式或网页就会错误地常常出现在“许功盖”这些字后面多了“”。

私人造字

在倚天中文系统，以及后来的Windows3.1、95及98中，定义了四个私人造字区范围：0xFA40-0xFEFE、0x8E40-0xA0FE、0x8140-0x8DFE、0xC6A1-0xC8FE。私人造字区的原意，是供使用者加入本来在编码表中缺少的字符，但当每个使用者都在不同的地方加上不同的字符后，当交换资料时，对方便难以知道某一个编码究竟想表达什么字

特性

双字节编码

Big5是双字节编码，高字节编码范围是0x81-0xFE，低字节编码范围是0x40-0x7E和0xA1-0xFE。和GBK相比，少了低字节是0x80-0xA0的组合。0x8140-0xA0FE是保留区域，用于用户造字区

字符有限

Big5收录的汉字只包括繁体汉字，不包括简体汉字，一些生僻的汉字也没有收录。GBK收录的日文假名字符、俄文字符Big5也没有收录。因为Big5当中收录的字符有限，因此有很多在Big5基础上扩展的编码，如倚天中文系统。Windows系统上使用的代码页CP950也可以理解为是对Big5的扩展，在Big5的基础上增加了7个汉字和一些符号。Big5编码对应的字符集是GBK字符集的子集，也就是说Big5收录的字符是GBK收录字符的一部分，但相同字符的编码不同。

误处理

因为Big5也占用了ASCII的编码空间（低字节所使用的0x40-0x7E），所以Big5编码在一些环境下存在和GBK编码相同的问题，即低字节范围为0x40-0x7E的字符有可能会被误处理，尤其是低字节是0x5C（"/"）和0x7C（"|"）的字符。可以参考GBK一节相应说明。

GB18030编码

简介

2000年3月17日发布的汉字编码国家标准GB18030编码，是对GBK编码的扩充，覆盖中文、日文、朝鲜语和中国少数民族文字，其中收录27484个汉字。GB18030字符集采用单字节、双字节和四字节三种方式对字符编码。兼容GBK和GB2312字符集。

它完全兼容ASCII码与GBK码。

编码范围

采用单字节、双字节、四字节分段编码方案，具体码位见特性。

GB18030向下兼容ASCII码和GBK编码。

适用范围以及存在问题

GB18030可用于一切处理中文（包括汉字和少数民族文）信息，特别是汉字信息的信息处理产品。

特性

这一标准进行了多次拓展，现在使用的国标标准码就是 GB18030-2005

单字节部分

本标准中，单字节的部分收录了GB/T11383-1989的0x00到0x7F全部128个字符。

双字节部分

本标准中，双字节的部分收录内容如下：

GB 13000.1－1993的全部CJK统一汉字字符。

GB 13000.1－1993的CJK兼容区挑选出来的21个汉字。

GB 13000.1－1993中收录而GB 2312未收录的我国台湾地区使用的图形字符139个。

GB 13000.1－1993收录的其它字符31个。

GB 2312中的非汉字符号。

GB 12345 的竖排标点符号19个。

GB 2312未收录的10个小写罗马数字。

GB 2312未收录的带音调的汉语拼音字母5个以及ɑ 和ɡ。

汉字数字“〇”。

表意文字描述符13个。

对GB 13000.1－1993增补的汉字和部首/构件80个。

双字节编码的欧元符号。

四字节部分

本标准的四字节的部分，收录了上述双字节字符之外的，GB 13000的CJK统一汉字扩充A、CJK统一汉字扩充B和已经在GB13000中编码的我国少数民族文字的字符。

GB18030-2005最主要的变化是增加了CJK统一汉字扩充B。它还去掉了单字节编码的欧元符号0x80）。

GB18030有1611668个码位，在GB18030-2005中定义了76556个字符。随着我国汉字整理和编码研究工作的不断深入，以及国际标准ISO/IEC 10646的不断发展，GB18030所收录的字符将在新版本中增加。

ANSI 编码

简介

(American National Standards Institute) 美国国家标准学会的缩写

针对汉字的编码，不同的国家和地区制定了不同的标准，由此产生了 GB2312、GBK、Big5、Shift_JIS 等各自的编码标准。这些使用 1 至 4 个字节来代表一个字符的各种汉字延伸编码方式，称为ANSI 编码。

例如:在简体中文Windows操作系统中，ANSI 编码代表 GBK 编码；在繁体中文操作系统中,ANSI编码代表Big5编码；在日文Windows操作系统中，ANSI 编码代表 Shift_JIS 编码。

Unicode与UCS

简介

到了全球互联网时代，不同国家，不同地区需要进行交互，这时候由于各自编码标准都不一样，彼此之间都是乱码，无法良好的沟通交流，于是这时候ISO组织与统一码联盟分别推出了UCS(Universal Multiple-Octet Coded Character Set)与Unicode。后来，两者意识到没有必要用两套字符集，于是进行了一次整合，到了Unicode2.0时代，Nnicode的编码和UCS的编码都基本一致(所以后续为了简便会同意用Unicode指代)，这时候所有的字符都可以采用同一个字符集，有着相同的编码，可以愉快的进行交流了。

需要注意的是UCS标准有自己的格式，如UCS-2(双字节)，UCS-4(四字节)等等
而Unicode也有自己的不同编码实现，如UTF-8，UTF-16，UTF-32等等
其中UTF-16可以认为是UCS-2的拓展，UTF-32可以认为是UCS-4的拓展，而Unicode可以认为是Unicode最终用来制霸互联网的一种编码格式。

Unicode标准

Unicode(统一码、万国码、单一码、标准万国码)编码就是为了表达任意语言的任意字符而设计

在这套系统中: 一个字符代表一个code，不存在二义性，例如U+0041总是代表'A'，而且这套标准也会随着需求不断的拓展。

Unicode是一个标准，只规定了某个字符应该对应哪一个code，但是并没有规定这个字符应该用即为字节来存储。规定用几个字节存储字符的是Unicode的不同实现，譬如UTF-8，UTF-16等

Unicode编码的不同实现

UTF-8编码

简介

UTF-8是Unicode的一种实现方式，是一种变长编码，根据不同的Unicode字符,用1到6个字节编码。

UTF-8的字节结构有特殊要求，比如我们说一个汉字的范围是0X4E00到0x9FA5，是指Unicode值，至于放在UTF-8的编码里去就是由三个字节来组织。

编码范围

所有的Unicode码。

适用范围以及存在问题

适用于所有地方，特别是互联网上，现今UTF-8基本已经制霸互联网。

中文中的缺点

UTF-8在中文字符处理时，一般都是3个字节，这样相比GBK，UTF-16等编码，会更浪费空间(但是针对英文又有天然的优势-单字节)

而且因为每个字符使用不同数量的字节编码，所以寻找串中第N个字符是一个O(N)复杂度的操作 — 即，串越长，则需要更多的时间来定位特定的字符。同时，还需要位变换来把字符编码成字节，把字节解码成字符。

特性

变长编码

根据不同的Unicode字符,用1到6个字节编码，而且完全兼容ASCII码

UTF-8是采用变长的编码方式，为1~6个字节，但通常我们只把它看作单字节或三字节的实现，因为其它情况实在少见。UTF-8编码通过多个字节组合的方式来显示，这是计算机处理UTF-8的机制，它是无字节序之分的，并且每个字节都非常有规律

UTF-16编码

简介

Unicode编码中，最常用的字符其实是0-65535，因此针对这点产生了UTF-16方案。

UTF-16将0–65535范围内的字符编码成2个字节，超过这个的用4个字节编码。(因此基本可以认为是双字节的)

UTF-16是完全对应于UCS-2的，即把UCS-2规定的代码点通过Big Endian或Little Endian方式直接保存下来。所以UTF-16采用2个字节来存储Unicode。UTF-16也可以表示UCS-4的部分字符，所以UTF-16也采用4个字节来存储Unicode。

UTF16编码是Unicode最直接的实现方式，通常我们在windows上新建文本文件后保存为Unicode编码，其实就是保存为UTF16编码。

编码范围

所有的Unicode码。

适用范围以及存在问题

双字节编码相比UTF-8更利于存储汉字字符。

Tips: JavaScript的内置的实现可以认为是UCS-2(并且它的存储方式为大端序)，而UTF-16是UCS-2的拓展。

特性

双字节和四字节编码

由于UTF-16固定是两字节的(UCS-4部分字符4字节),所以无法支持单字节的ASCII码

大端序和小端序

UTF-16和UTF-32都有大端序和小端序问题。

UTF-32编码

简介

UTF-32是Unicode的一种实现方式.
UTF32编码使用固定的4个字节来存储。
因此,非常浪费空间,不利于网络传输,所以使用不普遍。

编码范围

所有的Unicode码。

适用范围以及存在问题

不建议使用。

Tips:  HTML5中明确规定禁止使用Utf-32编码。

特性

四字节编码

UTF-32固定使用四个字节来存储。

附录

博客

初次发布2017.05.17于个人博客

http://www.dailichun.com/2017/05/17/severalCommonlyCharEncoding.html

参考资料

  • CSDN老版博文
  • 汉字字符集编码查询
  • 字符集和字符编码
  • 维基百科.字符编码

你可能感兴趣的:(字符编码)

  • HTTP 请求处理的完整流程到Servlet流程图 烟雨国度 httpservlet流程图
    HTTP请求处理的完整流程。从TCP三次握手开始，一直到Servlet处理请求并返回响应。首先，让我解释一下response.setContentType("text/html;charset=UTF-8");这行代码：这行代码设置了HTTP响应的Content-Type头。它告诉浏览器：响应的内容类型是HTML(text/html)字符编码是UTF-8(charset=UTF-8)这样浏览器就知
  • HTML添加文字 若无心_. HTMLhtml5
    一、创建HTML5文档基本标签//定义文档类型//定义HTML文档//定义关于文档的信息文档标题//定义文档的标题//定义文档的字符编码//定义文档的主体二、文字相关标签1.标题文字-标签可定义标题。定义最大的标题。定义最小的标题。Document这是标题1这是标题2这是标题3这是标题4这是标题5这是标题62.文本段落Document这次会晤的主题是“金砖国家在非洲：在第四次工业革命中共谋包容增长
  • Unicode字符编码 过好每一天的女胖子 Windowsc++windows
    1、简介Unicode是ASCII（美国信息交换标准码）字符编码的一个扩展。ASCII中每个字符用7位表示，计算机上每个字符8位。Unicode使用全16为字符编码，因此Unicode能表示世界上所有能用于计算机通讯的符号。Unicode最初是作为ASCII的补充。ASCII最终有26个小写/大写字母、10个数字、32个符号、33个控制代码和一个空格，共128个代码。1、优点大小写字符的代码是连续
  • python字串节对象Bytes 局外人LZ pythonpython
    一、简介字节串（bytes）是二进制数据的一种表示形式。它由一系列的字节组成，每个字节都是一个范围为0-255的整数。字节串可以用来表示二进制数据，例如图像、音频、视频、网络数据等。字节串与字符串（str）类型不同，字符串是由Unicode字符组成的文本数据。而字节串是原始的二进制数据，它不具备字符编码的概念，而是将数据以字节的形式进行存储和处理。在处理二进制数据时，字节串是非常有用的数据类型。它
  • 浅谈gbase与oracle 字符集差异 gbase_lmax java前端开发语言
    字符集字符集（CharacterSet）：按照一定的字符编码方案，将特定的符号集编码为计算机能够处理的数值的集合。常见字符集名称：ASCII字符集、Unicode字符集、GB2312字符集、BIG5字符集、GB18030字符集等。字符编码字符编码（CharacterEncoding）：是一套规则，对字符集进行编码的方案。如，Unicode是字符集，UTF-8、UTF-16、UTF-32是三种字符编
  • 字符编码方案：Unicode flying jiang 快速开发java前端开发语言
    摘要：Unicode（统一码、万国码、单一码）是一种在计算机上广泛使用的字符编码，旨在解决传统字符编码方案的局限，为每种语言中的每个字符设定了统一且唯一的二进制编码，以满足跨语言、跨平台进行文本转换和处理的需求。以下是关于Unicode编码的详细解析：一、历史背景起源与发展：Unicode编码的历史可以追溯到20世纪60年代，当时计算机科学家们意识到不同计算机系统使用不同的字符编码方式，导致文本和
  • latex学习笔记（三）——中文处理办法 richybai
    1.准备工作①，在选项->设置->构建->默认编辑器的下拉菜单中选择XeLaTeX②，在选项->设置->编辑器->默认字体编码的下拉菜单中选择UTF-8③，在软件右下角确定字符编码为UTF-8，如下图所示设置为UTF-82.开始编写中文①，首先导入ctex宏包:\usepackage{ctex}②，将title改为中文内容\title{\heiti学习笔记}%\heiti使中文显示为黑体\auth
  • MobaXterm设置自动保存日志 Tassel_YUE Linux#Shell运维
    目录需求操作需求想让MobaXterm设置日志自动保存，可以有效追踪过去操作。操作点击Setting按照下图设置：logtype选项卡中三个选项的区别：printableoutput：正常的日志导出outputallsession：类似第一个，不会可能出现字符编码问题printableoutputwithtimestamps：每一行日志都带上时间戳logfilename可以根据自己的需求自定义文件
  • C语言文件 Qi妙代码 c语言开发语言
    1.文件流1.1.文件流概念C语言把文件看作是一个字符的序列，即文件是由一个一个字符组成的字符流，因此c语言将文件也称之为文件流。当读写一个文件时，可以不必关心文件的格式或结构1.2.文件类型1.2.1.文件分类计算机的存储，物理上是二进制的。文本文件是基于字符编码的文件，常见的编码有ASCII编码，二进制文件是基于值编码的文件文本文件：以ASCII码形式存放，一个字节存放一个字符存放每一个ASC
  • 书写HTML的规范 恶心_3da6
    文章目录1.1通用约定标签Class与ID属性顺序引号嵌套语义嵌套约束严格嵌套约束布尔值属性1.2语义化常见标签语义示例1.3HEAD文档类型语言属性字符编码IE兼容模式SEO优化viewportiOS图标favicon完整的HEAD模板1.1通用约定标签自闭合（self-closing）标签，无需闭合(例如：imginputbrhr等)；可选的闭合标签（closingtag），需闭合(例如：或)
  • 6 字符编码 collman Java基础androidjava跨平台文档编程平台
    ----------------------android培训、java培训、期待与您交流！----------------------字符编码l计算机里只有数字，计算机软件里的一切都是用数字来表示的，屏幕上显示的一个个字符也不例外。l字符a对应数字97，字符b对应98等，这种字符与数字对应的编码规则被称为ASCII（美国标准信息交换码）。ASCII的最高bit位为0，也就是说这些数字在0到127
  • Eclipse设置全局UTF-8 小白羊MM
    如果要使插件开发应用能有更好的国际化支持，能够最大程度的支持中文输出，则最好使Java文件使用UTF-8编码。然而，Eclipse工作空间(workspace)的缺省字符编码是操作系统缺省的编码。在使用Eclipse时，若要使新建的工程全局都直接使用UTF-8编码而不需要一个个文件去设置，则可以按以下步骤去设置：1、打开“窗口->首选项->常规->工作空间”，将“文本文件编码”设置为UTF-8。那
  • linux的locale选择 小胖_20c7
    关于locale的基本概念1名称：对外的接口，用来建立（语系+字符集）的映射关系2语系：决定了该语言包括哪些字符（unicode的字符序号来定义的，字符序号和字符编码不是一回事，字符序号是统一的），以及这些字符的表现格式等3字符集：用于该语系的字符编码4字体用于把字符集的编码转换成屏幕上的字体显示locale涉及到的配置1/etc/sysconfig/i18n：设置默认的语系名称（缺省设置，每个登
  • 换行、回车、字符编码的理解 O-0-O 零散文章
    问题描述在20190727当天投产时遇到了一个问题，容器中有字段A及相应的值，但数据入库时该字段为空。对比投产前后的日志情况，发现投产后的SQL多了换行。无其它区别。猜测可能是换行导致的。问题排查（应用采用的入库的方式：1.将SQL配置到数据库中，字段列或条件列以","分隔2.执行INSERT时，将字段或条件以","分隔成列表，进行一一对应。问题即出现在这里）投产之前的sql：a,b,c,d,e,
  • SpringBoot 笔记 duanmy0687 springboot
    时代背景：微服务分布式云原生：docker、kubernetes自动配置原理依赖管理父项目负责依赖管理导入starter场景启动器无需关注版本号，自动版本仲裁自动配置自动配好Tomcat自动配好SpringMVC自动配好Web常见功能，如：字符编码问题组件添加@Configuration@Bean@Component@Controller@Service@Repository@ComponentS
  • UTF-8 编码简介 星河繁 开发语言
    UTF-8（8位元Unicode转换格式）是一种针对Unicode字符集设计的可变长度字符编码方案。其主要特点如下：可变长度：UTF-8使用1到4个字节来表示Unicode字符，根据字符在Unicode中的位置决定所需的字节数量。ASCII字符集中7位的字符仅用一个字节存储，与ASCII编码完全兼容。编码规则：对于ASCII字符（U+0000至U+007F），UTF-8编码与ASCII编码相同，即
  • GBK与UTF-8的区别，如何将GBK的文本转UTF-8，将UTF-8编码的文本转GBK kfhj 预编码算法
    GBK与UTF-8是两种不同的字符编码方式，它们的主要区别体现在以下几个方面：字符集范围：GBK编码主要支持中文字符和日韩字符，而UTF-8编码则支持全球范围内的字符，包括各种语言和符号。编码方式：GBK编码采用双字节编码，即每个字符都占用两个字节的空间。而UTF-8编码则采用变长编码，根据字符的不同，一个字符的编码长度可以是1到4个字节。这种特性使得UTF-8在编码英文等字符时只需一个字节，从而
  • Python chardet.detect 字符编码检测 in_tsz python开发语言
    chardet.detect是Python的一个库，用于检测给定字节串的字符编码。其检测原理基于统计学方法。具体来说，chardet.detect使用了一种叫做统计字符n-gram（通常为n=1或n=2）的方法。它会统计字节串中每个字符或字符对出现的频率，并将这些统计结果与预先训练好的字符编码模型进行比较。这些模型包含了不同字符编码所特有的字符频率分布信息。当给定一个字节串时，chardet.de
  • 文件显示命令LS和目录切换命令cd 好名字都被缑取了
    ls（选项）（参数）选项-a：显示所有档案及目录（ls内定将档案名或目录名称为“.”的视为影藏，不会列出）；-A：显示除影藏文件“.”和“..”以外的所有文件列表；-C：多列显示输出结果。这是默认选项；-b：将文件中的不可输出的字符以反斜线“”加字符编码的方式输出；-c：与“-lt”选项连用时，按照文件状态时间排序输出目录内容，排序的依据是文件的索引节点中的ctime字段。与“-l”选项连用时，则
  • 文本解码器（TextDecoder）详解 爱蹦跶的大A阿 JavaScript保姆级教程前端javascript
    ‍个人主页：《爱蹦跶的大A阿》当前正在更新专栏：《VUE》、《JavaScript保姆级教程》、《krpano》、《krpano中文文档》✨前言随着互联网技术的飞速发展，文本数据的传输和处理变得越来越普遍。在不同的计算机系统之间传输文本数据时，需要将文本编码为字节数组，以便在不同的字符编码环境下正确显示。文本解码器（TextDecoder）是JavaScript中一个重要的API，用于将字节数组解
  • Servlet之乱码问题处理 Gambler_Tu servletservlet
    文章目录乱码问题1.判断字符串的编码格式2.获取GET请求中的数据，打印乱码3.获取POST请求中的数据，打印乱码4.中文字符串，输出到页面显示乱码5.setContentType和setCharacterEncoding乱码问题1.判断字符串的编码格式注意，由于存在重码现象，以下方案并不严谨。//由于字符编码存在重叠区，所以一个字符/字符串有多种编码可能，是完全正常合理的。publicstati
  • 解决Tomcat启动时控制台中文乱码问题 马佳乐
    代码运行输出正常，下面控制台出现中文乱码：而且明明文本编码格式也都修改为了UTF-8，但依旧解决不了这个问题。该问题产生的原因：因为windows系统中，其命令行窗口在解码字节数组时，默认使用本地字符集（对于我们就是GBK），而Tomcat默认输出的启动信息是通过UTF-8进行编码的，这就导致编码与解码所使用字符集的不一致，从而出现了乱码情况！解决方法:操作：只需要将Tomcat的默认字符编码UT
  • ascii码，unicode编码集和utf编码方式 可爱的小小小狼 杂项开发语言
    ASCII码ASCII码使用7位二进制数表示一个字符，共定义了128个字符，包括基本的拉丁字母、数字、标点符号和一些控制字符。每个字符都被赋予一个唯一的数值，这个数值在0到127之间。Unicode编码集Unicode是一个字符编码标准，它为世界上几乎所有的字符分配了唯一的标识符。Unicode字符集包括了各种语言、符号、标点符号、数学符号、技术符号、图形符号等，总计超过130,000个字符。un
  • 字符编码 肥猫想要飞
    为什么写这篇文章  字符编码的问题一直以来困然着我，每次遇到相关问题需要解决，都要重新去搜索学习。但是，网上的一些文章往往也是自相矛盾的半成品，再加上windows的奇怪命名，导致我对这些概念似懂非懂，所以想借此机会重新理顺这些概念顺带学习。相关概念字符集(characterset)  为每一个「字符」分配一个唯一的ID（学名为码位/码点/CodePoint）。ASCII，ISO-8859-1：英
  • HTML5学习（二） 学习不止，掉发不停 htmlhtml5学习前端
    目录1.字符集characterset2.标题标签3.段落和换行标签4.文本格式化标签5.和标签6.图像标签7.路径8.超链接标签9.锚点链接10.注释标签11.特殊字符1.字符集characterset字符集是多个字符的集合，在标签内，可以通过标签的charset属性来规定HTML文件用那种字符编码。UTF-8是万国码，基本包含所有国家需要用到的字符，这个一定要写，防止乱码情况。2.标题标签一共
  • html header设置语言,HTML header weixin_39632057 htmlheader设置语言
    前言：这一片小文是说明header之中的常用标签以及相关的JS的使用的内容。正文：1、meta标签：定义当前页面的某些解析属性和SEO优化使用的内容。html内容：我们常常看到页面上面有许多的meta标签，他们具体是什么作用的呢。我们先来了解一下meta标签之中的属性。--charset：H5之中会有charset这个属性的设置。这一属性的是H5之后才可单独使用的，表示当前文件内容字符编码格式。一
  • CC工具箱使用指南：【汉字转为Unicode】 规划GIS会 CC工具箱使用帮助arcgisprosdkc#二次开发arcgisarcgispro
    一、简介Unicode又叫统一码，是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。这个工具要实现的功能是将汉字转为Unicode。二、工具参数介绍点击【小工具】组里的【汉字转为Unicode】工具：即可打开下面的工具框界面：1、进
  • 如何在 Python 中处理 Unicode 张无忌打怪兽 Pythonpython网络开发语言
    介绍Unicode是世界上大多数计算机的标准字符编码。它确保文本（包括字母、符号、表情符号，甚至控制字符）在不同设备、平台和数字文档中显示一致，无论使用的操作系统或软件是什么。它是互联网和计算机行业的重要组成部分，没有它，互联网将会更加混乱和难以使用。Unicode本身不是编码，而更像是地球上几乎所有可能字符的数据库。Unicode包含一个代码点，用于标识其数据库中的每个字符，其值范围从0到110
  • 关于html meta标签设置 前端_小冲
    META标签分两大部分：HTTP标题信息(http-equiv)和页面描述信息(name)。http-equivhttp-equiv类似于HTTP的头部协议，它回应给浏览器一些有用的信息，以帮助正确和精确地显示网页内容。设置页面编码charsetUTF-8是世界性通用编码，也完美的支持中文编码GB2312属于中文编码，针对国内用户使用，国外用户访问GB2312编码的网站就会变乱码。设置字符编码设置
  • R语言从拍摄照片生成色卡用于统计图 youmigo
    ok.pngex_2021-04-29_02-10-25.pngex_2021-04-29_02-13-55.png图片1.jpg微信图片_20210429013555.jpg#ThuApr2901:37:232021-#字符编码：UTF-8#R版本：Rx644.0.5forwindow10#[email protected]#个人笔记不负责任，拎了个梨.rs.restartR()requir
  • knob UI插件使用 换个号韩国红果果 JavaScriptjsonpknob
    图形是用canvas绘制的 js代码 var paras = { max:800, min:100, skin:'tron',//button type thickness:.3,//button width width:'200',//define canvas width.,canvas height displayInput:'tr
  • Android+Jquery Mobile学习系列(5)-SQLite数据库 白糖_ JQuery Mobile
    目录导航   SQLite是轻量级的、嵌入式的、关系型数据库，目前已经在iPhone、Android等手机系统中使用,SQLite可移植性好，很容易使用，很小，高效而且可靠。   因为Android已经集成了SQLite，所以开发人员无需引入任何JAR包，而且Android也针对SQLite封装了专属的API，调用起来非常快捷方便。   我也是第一次接触S
  • impala-2.1.2-CDH5.3.2 dayutianfei impala
    最近在整理impala编译的东西，简单记录几个要点： 根据官网的信息（https://github.com/cloudera/Impala/wiki/How-to-build-Impala）： 1. 首次编译impala，推荐使用命令： ${IMPALA_HOME}/buildall.sh -skiptests -build_shared_libs -format 2.仅编译BE ${I
  • 求二进制数中1的个数 周凡杨 java算法二进制
    解法一： 对于一个正整数如果是偶数，该数的二进制数的最后一位是 0 ，反之若是奇数，则该数的二进制数的最后一位是 1 。因此，可以考虑利用位移、判断奇偶来实现。   public int bitCount(int x){ int count = 0; while(x!=0){ if(x%2!=0){ /
  • spring中hibernate及事务配置 g21121 Hibernate
    hibernate的sessionFactory配置： <!-- hibernate sessionFactory配置 --> <bean id="sessionFactory" class="org.springframework.orm.hibernate3.LocalSessionFactoryBean"> <
  • log4j.properties 使用 510888780 log4j
    log4j.properties 使用 一.参数意义说明 输出级别的种类 ERROR、WARN、INFO、DEBUG ERROR 为严重错误 主要是程序的错误 WARN 为一般警告，比如session丢失 INFO 为一般要显示的信息，比如登录登出 DEBUG 为程序的调试信息 配置日志信息输出目的地 log4j.appender.appenderName = fully.qua
  • Spring mvc-jfreeChart柱图（2） 布衣凌宇 jfreechart
    上一篇中生成的图是静态的，这篇将按条件进行搜索，并统计成图表，左面为统计图，右面显示搜索出的结果。 第一步：导包 第二步；配置web.xml(上一篇有代码) 建BarRenderer类用于柱子颜色 import java.awt.Color; import java.awt.Paint; import org.jfree.chart.renderer.category.BarR
  • 我的spring学习笔记14-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
    PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。 PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java
  • maven 之 cobertura 简单使用 antlove maventestunitcoberturareport
    1. 创建一个maven项目 2. 创建com.CoberturaStart.java package com; public class CoberturaStart { public void helloEveryone(){ System.out.println("=================================================
  • 程序的执行顺序 百合不是茶 JAVA执行顺序
          刚在看java核心技术时发现对java的执行顺序不是很明白了,百度一下也没有找到适合自己的资料,所以就简单的回顾一下吧   代码如下;     经典的程序执行面试题 //关于程序执行的顺序 //例如： //定义一个基类 public class A(){ public A(
  • 设置session失效的几种方法 bijian1013 web.xmlsession失效监听器
    在系统登录后，都会设置一个当前session失效的时间，以确保在用户长时间不与服务器交互，自动退出登录，销毁session。具体设置很简单，方法有三种：（1）在主页面或者公共页面中加入：session.setMaxInactiveInterval(900);参数900单位是秒，即在没有活动15分钟后，session将失效。这里要注意这个session设置的时间是根据服务器来计算的，而不是客户端。所
  • java jvm常用命令工具 bijian1013 javajvm
    一.概述         程序运行中经常会遇到各种问题，定位问题时通常需要综合各种信息，如系统日志、堆dump文件、线程dump文件、GC日志等。通过虚拟机监控和诊断工具可以帮忙我们快速获取、分析需要的数据，进而提高问题解决速度。 本文将介绍虚拟机常用监控和问题诊断命令工具的使用方法，主要包含以下工具:       &nbs
  • 【Spring框架一】Spring常用注解之Autowired和Resource注解 bit1129 Spring常用注解
    Spring自从2.0引入注解的方式取代XML配置的方式来做IOC之后，对Spring一些常用注解的含义行为一直处于比较模糊的状态，写几篇总结下Spring常用的注解。本篇包含的注解有如下几个： Autowired Resource Component Service Controller Transactional 根据它们的功能、目的，可以分为三组，Autow
  • mysql 操作遇到safe update mode问题 bitray update
        我并不知道出现这个问题的实际原理,只是通过其他朋友的博客,文章得知的一个解决方案,目前先记录一个解决方法,未来要是真了解以后,还会继续补全.     在mysql5中有一个safe update mode,这个模式让sql操作更加安全,据说要求有where条件,防止全表更新操作.如果必须要进行全表操作,我们可以执行 SET
  • nginx_perl试用 ronin47 nginx_perl试用
    因为空闲时间比较多，所以在CPAN上乱翻，看到了nginx_perl这个项目(原名Nginx::Engine)，现在托管在github.com上。地址见：https://github.com/zzzcpan/nginx-perl 这个模块的目的，是在nginx内置官方perl模块的基础上，实现一系列异步非阻塞的api。用connector/writer/reader完成类似proxy的功能（这里
  • java-63-在字符串中删除特定的字符 bylijinnan java
    public class DeleteSpecificChars { /** * Q 63 在字符串中删除特定的字符 * 输入两个字符串，从第一字符串中删除第二个字符串中所有的字符。 * 例如，输入”They are students.”和”aeiou”，则删除之后的第一个字符串变成”Thy r stdnts.” */ public static voi
  • EffectiveJava--创建和销毁对象 ccii 创建和销毁对象
    本章内容： 1. 考虑用静态工厂方法代替构造器 2. 遇到多个构造器参数时要考虑用构建器（Builder模式） 3. 用私有构造器或者枚举类型强化Singleton属性 4. 通过私有构造器强化不可实例化的能力 5. 避免创建不必要的对象 6. 消除过期的对象引用 7. 避免使用终结方法 1. 考虑用静态工厂方法代替构造器     类可以通过
  • [宇宙时代]四边形理论与光速飞行 comsci
       从四边形理论来推论 为什么光子飞船必须获得星光信号才能够进行光速飞行？    一组星体组成星座  向空间辐射一组由复杂星光信号组成的辐射频带，按照四边形-频率假说  一组频率就代表一个时空的入口    那么这种由星光信号组成的辐射频带就代表由这些星体所控制的时空通道，该时空通道在三维空间的投影是一
  • ubuntu server下python脚本迁移数据 cywhoyi pythonKettlepymysqlcx_Oracleubuntu server
    因为是在Ubuntu下，所以安装python、pip、pymysql等都极其方便，sudo apt-get install pymysql， 但是在安装cx_Oracle（连接oracle的模块）出现许多问题，查阅相关资料，发现这边文章能够帮我解决，希望大家少走点弯路。http://www.tbdazhe.com/archives/602 1.安装python 2.安装pip、pymysql
  • Ajax正确但是请求不到值解决方案 dashuaifu Ajaxasync
    Ajax正确但是请求不到值解决方案   解决方案：1 .     async: false ,    2.     设置延时执行js里的ajax或者延时后台java方法！！！！！！！   例如：   $.ajax({     &
  • windows安装配置php+memcached dcj3sjt126com PHPInstallmemcache
    Windows下Memcached的安装配置方法 1、将第一个包解压放某个盘下面，比如在c:\memcached。 2、在终端（也即cmd命令界面）下输入 'c:\memcached\memcached.exe -d install' 安装。 3、再输入： 'c:\memcached\memcached.exe -d start' 启动。（需要注意的: 以后memcached将作为windo
  • iOS开发学习路径的一些建议 dcj3sjt126com ios
    iOS论坛里有朋友要求回答帖子，帖子的标题是： 想学IOS开发高阶一点的东西，从何开始，然后我吧啦吧啦回答写了很多。既然敲了那么多字，我就把我写的回复也贴到博客里来分享，希望能对大家有帮助。欢迎大家也到帖子里讨论和分享，地址：http://bbs.csdn.net/topics/390920759   下面是我回复的内容：   结合自己情况聊下iOS学习建议，
  • Javascript闭包概念 fanfanlovey JavaScript闭包
    1.参考资料 http://www.jb51.net/article/24101.htm http://blog.csdn.net/yn49782026/article/details/8549462 2.内容概述 要理解闭包，首先需要理解变量作用域问题 内部函数可以饮用外面全局变量 var n=999; 　　functio
  • yum安装mysql5.6 haisheng mysql
    1、安装http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm   2、yum install mysql   3、yum install mysql-server   4、vi /etc/my.cnf   添加character_set_server=utf8
  • po/bo/vo/dao/pojo的详介 IT_zhlp80 javaBOVODAOPOJOpo
        JAVA几种对象的解释 PO:persistant object持久对象,可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作. VO:value object值对象。通常用于业务层之间的数据传递，和PO一样也是仅仅包含数据而已。但应是抽象出的业务对象,可
  • java设计模式 kerryg java设计模式
    设计模式的分类：    一、 设计模式总体分为三大类： 1、创建型模式（5种）：工厂方法模式，抽象工厂模式，单例模式，建造者模式，原型模式。 2、结构型模式（7种）：适配器模式，装饰器模式，代理模式，外观模式，桥接模式，组合模式，享元模式。 3、行为型模式（11种）：策略模式，模版方法模式，观察者模式，迭代子模式，责任链模式，命令模式，备忘录模式，状态模式，访问者
  • [1]CXF3.1整合Spring开发webservice——helloworld篇 木头.java springwebserviceCXF
    Spring 版本3.2.10 CXF 版本3.1.1 项目采用MAVEN组织依赖jar 我这里是有parent的pom，为了简洁明了，我直接把所有的依赖都列一起了，所以都没version，反正上面已经写了版本 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
  • Google 工程师亲授：菜鸟开发者一定要投资的十大目标 qindongliang1922 工作感悟人生
    身为软件开发者，有什么是一定得投资的？ Google 软件工程师 Emanuel Saringan 整理了十项他认为必要的投资，第一项就是身体健康，英文与数学也都是必备能力吗？来看看他怎么说。（以下文字以作者第一人称撰写）） 你的健康 无疑地，软件开发者是世界上最久坐不动的职业之一。 每天连坐八到十六小时，休息时间只有一点点，绝对会让你的鲔鱼肚肆无忌惮的生长。肥胖容易扩大罹患其他疾病的风险，
  • linux打开最大文件数量1,048,576 tianzhihehe clinux
    File descriptors are represented by the C int type. Not using a special type is often  considered odd, but is, historically, the Unix way. Each Linux process has a maximum number of files th
  • java语言中PO、VO、DAO、BO、POJO几种对象的解释 衞酆夼 javaVOBOPOJOpo
    PO:persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作。 BO:business object业务对象 封装业务逻辑的java对象
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他