字符编码-教程(5)-简体汉字编码与半角和圆角

一、单字节编码与多字节编码

1、单字节编码（SBCS）

用一个字节来编码的，比如前面提到的EBCDIC，ASCII ，EASCII，ISO-8859系列都是单字节编码。

ASCII 码

学过计算机的人都知道 ASCII 码，总共有 128 个，用一个字节的低 7 位表示，0~31 是控制字符如换行回车删除等；32~126 是打印字符，可以通过键盘输入并且能够显示出来。

ISO-8859-1

128 个字符显然是不够用的，于是 ISO 组织在 ASCII 码基础上又制定了一些列标准用来扩展 ASCII 编码，它们是 ISO-8859-1~ISO-8859-15，其中 ISO-8859-1 涵盖了大多数西欧语言字符，所以应用的最广泛。ISO-8859-1 仍然是单字节编码，它总共能表示 256 个字符。

2、多字节编码（MBCS）

用多个字节来编码的，就是多字节编码。比如下面介绍的编码方案都是。

二、简体汉字编码

英文字母再加一些其他标点字符之类的也不会超过256个，用一个字节来表示一个字符就足够了(2^8 = 256)。但其他一些文字不止这么多字符，比如中文中的汉字就多达10多万个，一个字节只能表示256个字符，肯定是不够的，因此只能使用多个字节来表示一个字符。

1、GB2312

等到中国人们得到计算机时，单字节的ASCII码 及其拓展码，没有很多状态来保存 6000多个常用汉字。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉, 规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的“全角”字符，而原来在127号以下的那些就叫“半角”字符了。

中国人民看到这样很不错，于是就把这种汉字方案叫做 “GB2312”。GB2312 是对 ASCII 的中文扩展。

它的全称是《信息交换用汉字编码字符集 基本集》，它是双字节编码。它的第一个字节为128-255。系统可以据此判断，若第一个字节大于127，则把与该字节后紧接着的一个字节结合起来共两个字节组成一个中文字符。这种由多个字节存储一个字符的字符集叫多字节字符集（MultiByte Charsets），对应的象ASCII这种用一个字节存储一个字符的字符集叫单字节字符集（SingleByte Charsets）。在GB2312字符集中，ASCII字符仍然用一个字节存储，换句话说该ASCII是该字符集的子集。=========================================================

GB2312编码方案，即《信息交换用汉字编码字符集——基本集》，是由中国国家标准总局于1980年发布、1981年5月1日开始实施的一套国家标准，标准号为GB2312-1980。其中收录了6763个常用汉字和682个其它符号（6763+682=7445），并将该字符集分为94个区，每个区94位，每个位对应一个字符或零个字符（94×94=8836，8836-7745=1391说明有1391个位置是空的）。

GB2312编码适用于汉字处理、汉字通信等系统之间的信息交换，通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。

如果将GB2312看做是一种“字符集”，则可以用多种编码方式对它进行编码。比如“区位码”就是对GB2312字符集最简单的一种编码方式，它直接使用区号和位号组成一个编码值（例如：GB2312字符集中的第一个汉字“啊”，它的区号为16，位号为01，它的区位码就是1601）。这里GB2312 编码列出了GB2312区位码编码。

但通常，人们所说的GB2312指的是一种编码（并且不是指区位码），它是指通常采用EUC方法对GB2312字符集中的“区”和“位”进行处理后的编码。EUC方法的处理方式：区号和位号分别加上0xA0，结果分别作为GB2312编码的两个字节的值（例如：“啊”字的区号和位号分别为16和01，即十六进制0x10和0x01，分别加0xA0得到编码0xB0A1），这样做是为了兼容ASCII编码（GB2312编码的两字节都大于ASCII码的最大值）。这里GB2312简体中文编码表列出了通常更常用的GB2312编码。

GB 2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时，除了汉字，GB 2312还收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个字符。

可能是出于显示上视觉美观的考虑，除汉字之外的682个字符中，甚至包括了ASCII里本来就有的数字、标点、英文字母等字符。也就是说，这些ASCII里原来就有的单字节编码的字符，又再编了两个字节长的GB2312编码版本。这682个字符就是常说的“全角”字符，而这682个字符中所对应的ASCII字符就被称之为“半角”字符。

但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。

【附：全角、半角

全角字符是中文显示及双字节中文编码的历史遗留问题。

早期的点阵显示器上由于像素有限，原先ASCII西文字符的显示宽度(比如8像素的宽度)用来显示汉字有些捉襟见肘(实际上早期的针式打印机在打印输出时也存在这个问题)，因此就采用了两倍于ASCII字符的显示宽度(比如16像素的宽度)来显示汉字。

这样一来，ASCII西文字符在显示时其宽度为汉字的一半。或许是为了在西文字符与汉字混合排版时，让西文字符能与汉字对齐等视觉美观上的考虑，于是就设计了让西文字母、数字和标点等特殊字符在外观视觉上也占用一个汉字的视觉空间(主要是宽度)，并且在内部存储上也同汉字一样使用2个字节进行存储的方案。这些与汉字在显示宽度上一样的字符就被称之为全角字符。

而原来ASCII中的西文字符由于在外观视觉上仅占用半个汉字的视觉空间(主要是宽度)，并且在内部存储上使用1个字节进行存储，相对于全角字符，因而被称之为半角字符。

后来，其中的一些全角字符因为比较有用，就得到了广泛应用(比如全角的逗号“，”、问号“？”、感叹号“！”、空格“　”等，这些字符在输入法中文输入状态下的半角与全角是一样的，英文输入状态下全角跟中文输入状态一样，但半角大约为全角的二分之一宽)，专用于中日韩文本，成为了标准的中日韩标点字符。而其它的许多全角字符则逐渐失去了价值(现在很少需要让纯文本的中文和西文字字对齐了)，就很少再用了。

现在全球字符编码的事实标准是Unicode字符集及基于此的UTF-8、UTF-16等编码实现方式。Unicode吸纳了许多遗留(legacy)编码，并且为了兼容性而保留了所有字符。因此中文编码方案中的这些全角字符也保留下来了，而国家标准也仍要求字体和软件都支持这些全角字符。

不过，半角和全角字符的关系在UTF-8、UTF-16等中不再是简单的1字节和2字节的关系了。具体参见后文。】

2、GB13000

GB2312-1980共收录6763个汉字，覆盖了中国大陆99.75%的使用频率，基本满足了汉字的计算机处理需要。但对于人名、古汉语等方面出现的罕用字、生僻字，GB2312不能处理，如部分在GB2312-1980推出以后才简化的汉字(如“啰”)、部分人名用字(如前总理朱镕基的“镕”字)、台湾及香港使用的繁体字、日语及朝鲜语汉字等，并未收录在内。

1、为了便于多个文种的同时处理，国际标准化组织下属编码字符集工作组制定了新的编码字符集标准——ISO/IEC 10646(与统一联盟制定的Unicode标准兼容，两者的关系详见后文)。

该标准第一次颁布是在1993年，当时只颁布了其第一部分，即ISO/IEC 10646.1:1993，收录中国大陆、台湾、日本及韩国通用字符集的汉字，总共20,902个。制定这个标准的目的是对世界上的所有字符统一编码，以实现世界上所有字符在计算机上的统一处理。

2、中国相应的国家标准是GB13000.1-93《信息技术通用多八位编码字符集(UCS) 第一部分：体系结构与基本多文种平面》。GB 13000.1-93”等同于Unicode 1.1版本（ 即 ISO/IEC 10646.1:1993）。

2010年又发布了替代标准——GB13000-2010《信息技术通用多八位编码字符集(UCS)》，此标准等同于国际标准ISO/IEC 10646:2003《信息技术通用多八位编码字符集(UCS)》。

GB13000与国际标准ISO/IEC 10646及Unicode标准目前在基本平面(即BMP，详见后文)上保持一致。

3、GBK

1、话说1993年，Unicode 1.1推出时，收录了两万多个中日韩通用字符集的汉字，同一年我国也定制了相应的GB13000，但是一直未被业界采用。后来微软利用了GB2312中未使用的编码空间，并且收录了GB13000中的全部字符，从而定制了GBK编码（虽然收录了GB13000的全部字符，但是编码方式并不相同），并且实现于Windows95中文版中。GBK自身并非国家标准，不过1995年由国标局等机构确定为“技术规范指导性文件”。【也有一说：国家主动 利用GB2312-1980未使用的码点空间，收录GB13000.1-1993的全部字符，于1995年又发布了《汉字内码扩展规范(GBK)》(Guo-Biao Kuozhan国家标准扩展码，是根据GB13000.1-1993，对GB2312-1980的扩展；英文全称Chinese Internal Code Specification)。】

2、不过，虽然GBK收录了GB13000.1-1993的全部字符，但编码方式并不相同。

GBK跟GB2312一样是双字节编码，然而，GBK只要求第一个字节即高字节是大于127就固定表示这是一个汉字的开始(0~127当然表示的还是ASCII字符)，不再要求第二个字节即低字节也必须是127号之后的编码。这样，作为同样是双字节编码的GBK才可以收录比GB2312更多字符。

GBK字符集向后完全兼容GB2312，还支持GB2312-1980不支持的部分中文简体、中文繁体、日文假名，还包括希腊字母以及俄语字母等字母(不过这个编码不支持韩国文字，也是其在实际使用中与Unicode编码相比欠缺的部分)，共收录汉字21003个、符号883个，并提供1894个造字码位，简、繁体字融于一体。

GBK全称叫《汉字内码扩展规范》，是国家技术监督局为 windows95 所制定的新的汉字内码规范，它的出现是为了扩展 GB2312，加入更多的汉字，它的编码范围是 8140~FEFE（去掉 XX7F）总共有 23940 个码位，它能表示 21003 个汉字，还包含繁体中文字，日文字符和朝鲜字符。它的编码是和 GB2312 兼容的，也就是说用 GB2312 编码的汉字可以用 GBK 来解码，并且不会有乱码。值得注意的是GBK只是一个规范而不是国家标准，新的国家标准是GB18030-2000，它是比GBK包含字符更多的字符集。

GBK的编码框架(Code Scheme)：其中GBK1收录除GB2312符号外的增补符号，GBK2收录GB2312汉字，GBK3收录CJK汉字，GBK4收录CJK汉字和增补汉字，GBK5为非中文字符集，UDC为用户自定义字符区

3、微软早在Windows 95简体中文版中就采用了GBK编码，也就是对微软内部之前的CP936字码表(Code Page 936)进行了扩展(之前CP936和GB2312-1980一模一样)。

微软的CP936通常被视为等同于GBK，连IANA(Internet Assigned Numbers Authority互联网号码分配局)也以“CP936”为“GBK”之别名。

但事实上比较起来，GBK定义之字符较CP936多出95个(15个非汉字及80个汉字)，皆为当时未收入ISO 10646 / Unicode的符号。

【注：有说是微软在GB2312的基础上扩展制订了GBK，然后GBK才成为“国家标准”(也有说GBK不是国家标准，只是“技术规范指导性文件”)；但网上也有资料说是先有GBK(由全国信息技术标准化技术委员会于1995年12月1日制定)，然后微软才在其内部所用的CP936代码页中以GBK为参考进行了扩展。】

简单总结：GBK是从GB2312扩展而来的，支持繁体，并且兼容GB2312。例如：“啊”字的GB2312编码和GBK编码都为0xB0A1。

5、GB18030

1、中国国家质量技术监督局于2000年3月17日推出了GB18030-2000标准，以取代GBK。GB18030-2000除保留全部GBK编码汉字之外，在第二字节再度进行扩展，增加了大约一百个汉字及四位元组编码空间。

GB18030-2000《信息交换用汉字编码字符集基本集的补充》是我国继GB2312-1980和GB13000-1993之后最重要的汉字编码标准，是我国计算机系统必须遵循的基础性标准之一。

2、2005年，GB18030编码方案又进行了扩充，于是又有了GB18030-2005《信息技术中文编码字符集》。如前所述，GB18030-2000是GBK的取代版本，它的主要特点是在GBK基础上增加了CJK中日韩统一表意文字扩充A的汉字；而GB18030-2005的主要特点是在GB18030-2000基础上又增加了CJK中日韩统一表意文字扩充B的汉字。

GB18030-2005全称是《信息交换用汉字编码字符集》，是我国的强制标准，它可能是单字节、双字节或者四字节编码，它的编码与 GB2312 编码兼容，这个虽然是国家标准，但是实际应用系统中使用的并不广泛。

GB2312和GBK都是用两个字节来编码的，就算用完所有的位（256*256=65536）也不够为所有的汉字编码。于是就有了目前最新的GB18030，它采用类似UTF-8的编码方式进行编码（每个字符的编码可以是1、2或4个字节），拥有上百万个编码空间，足以支持中日韩三国所有汉字，并且还可以支持国内少数民族的文字。

微软也为GB18030定义了代码页(Code page)：CP54936，但是这个代码页实际上并没有真正使用(在Windows 7的“控制面板”-“区域和语言”-“管理”-“非Unicode程序的语言”中没有提供选项；在Windows cmd命令行中可通过命令chcp 54936更改，之后在cmd可显示中文，但却不支持中文输入)。

各汉字(中文字符)编码方案之间的关系

三、汉字编码小结：双字节编码（DBCS）

中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 “DBCS”（Double Byte Charecter Set 双字节字符集）【当然不包括GB18030编码方案】。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣们都要每天念下面这个咒语数百遍：“一个汉字算两个英文字符！一个汉字算两个英文字符……”【其实这句话的本意是：在双字节中文编码中，兼容了ASCII，导致英文编码只占一个字节，中文编码占二个字节，所以一个汉字算两个英文】

四、繁体编码BIG5与日文编码SJIS

维基上说：Big5是由台湾财团法人信息产业策进会为五大中文套装软件（并因此得名Big-5）所设计的中文共通内码，在1983年12月完成公告。那个之前还没有繁体字编码，GB2312又不含繁体字，因此才有了Big-5。

传说Big5产生前，有着“中文电脑之父”之称的朱邦复也设计了一套中文编码，可容纳50000多字（包括繁体和简体），但是未被采纳。

我国的台湾地区使用的文字是繁体字，其字符集是BIG5，而日本采用的字符集则是SJIS。它们的编码方法与GB2312类似，它们的ASCII字符部分是兼容的，但扩展部分的编码则是不兼容的，比如这几种字符集中都有”中文”这两个字符，但他们在各自的字符集中的编码并不相同，这就是用GB2312写成的网页用BIG5浏览时，看到的是乱糟糟的信息的原因。（BIg5也是双字节编码）

六、CJK中日韩统一表意文字

1、CJK指的是中日韩统一表意文字(CJK Unified Ideographs)，也称统一汉字(Unihan)，目的是要把分别来自中文(包含壮文)、日文、韩文、越文中，起源相同、本义相同、形状一样或稍异的表意文字在Unicode标准及ISO/IEC 10646标准内赋予相同的码点值。(Unicode标准及ISO/IEC 10646标准后文有详细解释)

CJK是中文(Chinese)、日文(Japanese)、韩文(Korean)三国文字英文首字母的缩写。顾名思义，它能够支持这三种文字，但实际上，CJK能够支持包括中文(包含壮文)、日文、韩文、越文在内的多种亚洲双字节文字。

2、所谓“起源相同、本义相同、形状一样或稍异的表意文字”，主要为汉字，包括繁体字、简体字；但也有仿汉字，包括方块壮字、日本汉字(漢字／かんじ)、韩国汉字(漢字／한자)、越南的喃字(?喃／Chữ Nôm)与儒字(?儒／Chữ Nho)等。

此计划原本只包含中文、日文及韩文中所使用的汉字和仿汉字，统称中日韩(CJK)统一表意文字(Unified Ideographs)。后来，此计划才加入了越南文的喃字，所以又合称为中日韩越(CJKV)统一表意文字。

好吧，它并不是一种编码方式，而是中日韩统一表意文字（CJK Unified Ideographs）。在Unicode中，收集各国相同的汉字，并且进行合并相同的编码点（code point）上，可以避免相同文字重复编码，浪费编码空间。

参考编码：

http://www.mytju.com/classcode/tools/encode_gb2312.asp

https://www.qqxiuzi.cn/bianma/Unicode-UTF.php

https://www.qqxiuzi.cn/zh/hanzi-big5-bianma.php

参考编码：

http://www.cnblogs.com/malecrab/p/5300497.html

https://www.cnblogs.com/duguxiaobiao/p/9128817.html

https://www.cnblogs.com/malecrab/p/5300503.html

https://blog.csdn.net/garybrother/article/details/3988741

http://zzqhost.com/2017/07/05/%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81/