香港增补字符集(HKSCS) 背景介绍

背景资料

========

目前，大部份不同語文的電腦系統，都有不同的編碼標準。如中文的系統就有BIG5和GB2312/GBK。各種文字有不同的文字編碼，不同系統在文字碼中轉換，會出現很多問題，最明顯是由於系統不能正確解析，造成所謂『亂碼』的現象。

因此，世界上主要的電腦廠商均推動利用Unicode（統一碼），將世界上幾十種文字編碼整合一起為一種編碼，結果可以讓多種文字在同一文件中容易地顯示，也毋須作編碼轉換。Unicode是由美國各大電腦廠商組成的Unicode策進會推動。理論上，這種編碼可以將世界上常用的文字都涵蓋進去，減少電腦商開發國外市場的問題。

 

香港主要利用的傳統繁體中文電腦系統，都是利用大五碼（BIG5）作為編碼，繁體版的Windows 3.1/9x都是利用BIG5作為系統的編碼，BIG5故此也被稱為Windows ANSI code page for Traditional Chinese（也就是CP 950），而BIG5編碼利用十六進元位，利用兩個bytes代表一個中文字。

BIG5編碼是在台灣開發，故此許多香港的常用字都不包含在內。BIG5編碼之內，如何涵蓋特殊字，一直引起不少混亂。電腦用戶如果要在電腦上使用這些所謂特殊的字符，唯有在使用者造字區（User Defined Area, UDA）為這些字符編配內碼。用戶自行造字對獨立運作的電腦不會構成問題，所以一旦涉及資料交換，用戶定義造字就不能在另一方正確顯示，就會引起溝通的問題。

 

為了打破香港常用字在文字編碼的溝通限制，香港政府與許多業界人士，為香港常用而又不在Big5內的單字，製作了約五千個字的編碼，簡稱為香港增補字符集（Hong Kong Supplementary Character Set, HKSCS）。

 

在香港增補字符集出現之前，香港政府亦公佈過一套稱為政府通用字庫Government Chinese Character Set (GCCS) （或稱香港政府指定3049外字集），共收錄了3,049個常用字，這些字利用BIG5編碼的使用者造字字集End User Defined Character（EUDC）內，而字集的套裝包括EUDC字體和EUDC的輸入法。

 

而新的香港增補字符集（HKSCS），更包括了Big5和ISO 10646的編碼。故此，HKSCS的Big5版，實際上就是補充了GCCS的增強版。

這些在EUDC的Big5使用者造字字集，按照一般Unicode的規定，都已對應在Unicode的私人使用區Private Use Area（PUA）內。而Microsoft的NT也是如此。原則上，私人使用區是供廠商和用戶自行定義字符的字區，這個區域是供個人和廠商作私人用途，不作資料交換用途。

何以會有上述的私人使用區Private Use Area（PUA）在Unicode的編碼內存在？

 

以上提及，Unicode要將成千上萬的文字收進同一個共通的編碼內，在兼顧經濟的原則下，不管東方或西方文字，每個字在Unicode的Basic Multilingual Plane (BMP)中都可一律以兩個Bytes（即16 Bits）進行編碼來代表。以簡單的運算，就至少能有2 ¹⁶ = 65536種不同組合，足以應付大多數文字編碼的需要。

 

Unicode的技術文件，大家可以經常看到ISO 10646這個名詞。如上述HKSCS就具備一套ISO 10646的編碼。ISO是總部設於瑞士的國際標準局的縮寫。ISO頒布的第10646號標準名為UCS（Universal Character Set），也就是世界通用字集。ISO是由世界各地的政府代表商定國際標準的官方組織，就Unicode由電腦業界組成的性質不同。

 

但是，Unicode策進會和ISO的UCS一直緊密合作，讓Unicode和ISO 10646保持一致。因此，Unicode和ISO 10646使用完全相同的字庫。

可是，由於漢字以方塊字構成，所佔的分配空間非常驚人。Unicode只有六萬多字的分配空間，實在不敷應用。故此Unicode和UCS都採用了『中日韓文整合』（CJK Unification），把中、日、韓的漢字，以同一字碼來代表，以節省寶貴的定址空間。

 

CJK Unification內的漢字，在Unicode中稱為Unihan（統漢字）。但是，統漢字仍不能包含所有不常用的漢字，其中也包括部份香港增補字符集（HKSCS）或者香港政府指定3049外字集（GCCS）之內的部份字符。

 

可是，事實上，不少在香港增補字符集（HKSCS）或者政府通用字庫（或稱香港政府指定3049外字集）（GCCS）內的字符，目前已經在Unicode內提供了編碼。故此，當香港增補字符集的BIG5內的使用者造字字集End User Defined Character（EUDC），安裝到Windows NT系統上，利用正常的EUDC/PUA對應，每一個字符就會有兩個碼位（Code points），代表該字符的編碼。其中一個在CJK區的Unicode碼位，另一個在PUA區。

 

假設一份含GCCS的Big5編碼文件，轉換成Unicode編碼文件，GCCS的字符就會保留在PUA區，而CJK區代表該字的字形就沒有使用。反之如果文件從Unicode轉成Big5，CJK區代表該GCCS字符的碼位，亦會因對應到Big5的EUDC區而失掉，再轉換成Unicode時不能找到位於CJK區的碼位。

 

政府通用字庫(GCCS)的定義

==========

顧名思義，政府通用字庫包括了3,049個字符。上述字符和Unicode的關係如下：

已跟Unicode合併的字符 1,621個

已經Extension-A合併的字符 311個

須用新字符表達 1,117個

GCCS總數 3,049個

 

香港增補字符集的定義

==========

香港增補字符集（HKSCS）可以被視為政府通用字庫的第二版。其中包括了政府通用字庫的原用字符（其中119個字符已因與現存的Big5碼合併而取消）。換言之，香港增補字符集包括原來的政府通用字，再加上新增的字符。

 

在二零零五年五月，香港特區政府公布香港增補字符集－2004 (HKSCS-2004)，除再加上新增的字符外, HKSCS-2004在技術上配合國際標準化組織在二零零四年四月公布的「ISO/IEC 10646:2003」和其修訂本。換言之，HKSCS-2004已再沒有利用Unicode 的私人使用區（PUA）。以下本文只集中解釋舊版香港增補字符集和Unicode私人使用區（PUA）的使用問題及其解決方案。

 

Unicode和香港增補字符集的關係如下:

Microsoft 對應Unicode及香港增補字符集解決方案的一般原則：

1. 方案將集中於儘量利用現時的Unicode，來表達香港增補字符集內的字符。作業系統內會加進新的字體和編碼轉換對應表，為政府通用字庫提供反向兼容。不過，要將舊的政府通用字庫轉換成新的香港增補字符集，則要應用程式負責。以往的政府通用字庫完全利用Unicode 的私人使用區（PUA），而新的香港增補字符集則會利用所有的已定義Unicode字符（包括位於CJK區和擴充A區）
2. 新的編碼轉換對應表的內容包括了以往cp 950和加上香港增補字符集在Big5的使用者造字區（EUA）所定義的碼位（Code Point）。
3. 為了向香港的Big5用戶和舊的Big5應用程式提供反向兼容，Big5/950支援將會轉為利用新的編碼轉換對應表。

内容摘自一份文档, 朋友所传, 不知出处.

希望网友补充.