JavaScript的内部字符编码是UCS-2还是UTF-16

对于 JavaScript 使用的是 UCS-2 还是 UTF-16 这个问题,我找了很久,没有发现一个权威的回答,我决定自己研究一下它。这个回答来自于你对 JavaScript 引擎或者对 JavaScript 语言的理解。

一、著名的 BMP(Basic Multilingual Plane)

Unicode 标识符通过一个明确的名字和一个整数来作为它的码位(code point).比如,“” 字符的码位可以用“版权标志”和U+00A9(0xA9,也可以写作十进制 169)来表示。

Unicode 字符分为 17 组平面,每个平面拥有 2^16
(65,536)个码位.有一些码位没有分配字符,也有一些码位被保留,成为私有的,也有一些码位是永远被保留的,作为无字符的标志。每一个码位都可以用
16 进制 xy0000 到 xyFFFF 来表示,这里的 xy 是表示一个 16 进制的值,从 00 到 10。

这第一个位置(当 xy 是 00 的时候)被称为 BMP (基本多文种平面, Basic Multilingual Plane)。它包含了最常用的码位从 U+0000 到 U+FFFF。

这里需要补充一点额外的平面知识,以及术语的表格。

引用自:wikipedia

其余 16号平面(U+100000 到 U+10FFFF)称为补充的平面。这里我将不讨论它;只需要记住两个概念:BMP 字符和非 BMP 字符,后者也被称为补充字符。

二、UCS-2 和 UTF-16 之间的不同

UCS-2 和 UTF-16 都是 Unicode 的字符编码方式。

UCS-2(2个字节的通用字符集)是一种固定长度的编码格式,只需要使用编码为 16 字节编码单元来表示码位。这样的表示结果将和 UTF-16 在 0 到 0xFFFF (BMP)范围内大多数的结果一样。

UTF-16(16 位 Unicode 转换格式)是对 UCS-2 的一个扩展,它允许表示比 BMP
范围内更多的字符。它是一种可变长度格式,它的每个码位能够使用 1 位或者 2 位 16字节编码单元来表示。这种方式能够编码的码位在 0 到
0x10FFFF 之间。

比如,在 UCS-2 和 UTF-16 中,对于 BMP 字符 U+00A9 版权标志()都能被编码为:0x00A9。

这里补充一下 UCS-2、UCS-4、BMP

CPU 处理多字节数的方式分为:“大尾”(big endian)和“小尾”(little endian),简单的理解就是一个 Unicode 编码,比如6C49,写到文件里面 6C 49 或者 49 6C,两种方式,前者就叫“大尾”,后者就叫“小尾”。

UCS 可以分为两种格式:UCS-2 和 UCS-4。UCS-2 使用两个字节编码,UCS-4 使用4个字节(实际只有 31 位,最高位必须是 0)编码。

转换关系:UCS-4 中高两个字节为 0 的码位称为 BMP;UCS-4 的 BMP 去掉前面两个零字节就得到 UCS-2;UCS-2 加上两个零字节就得到 UCS-4 中的 BMP。

三、代理对(Surrogate pairs)

对于 BMP 之外的字符,比如 U+1D306 四条线居中(其实不好翻译:tetragram for centre,?),只能使用
UTF-16 中两个 16 字节来编码:0xD834 0XDF06。这种就被称为代理对。值得注意的是一个代理对只代表一个单字符。

补充一下代理对的概念

实际上就是指上面的一个 UTF-16 编码,使用 2 个 16 字节来编码。那是因为一个 UTF-16 编码不够,然后就应该使用 2 个
UTF-16 编码来表示更多的字符。然后这样就会出现:之前 2 个字节的空间表示一个字符,就会变成 4
个字节的空间。所以就规定只有一定范围内使用 2 个 UTF-16 编码来表示一个字符,这样的方式就叫代理对,其余的依然使用 2 个字节来表示。

代理对中的第一个字符单元总是在 0xD800 到 0xDBFF 之间,称为高位代理或者顶部代理(high surrogate or
lead surrogate,暂时这样,查到专业术语再翻译)。第二个字符单元总是处于 0xDC00 到 0xDFFF
之间,称为低位代理或者尾部代理(low surrogate or trail surrogate)。

UCS-2 是缺乏对代理对的支持的,所以要表示之前的字符需要使用 2 个分隔的字符。

四、码位(code points)和代理对(surrogate pairs)之间的转换

Section 3.7 of The Unicode Standard 3.0(pdf)中定义了一个转换算法。

假设:一个码位 C 大于 0xFFFF 的编码使用代理对 <H, L> 来表示的公式为:


  1. H = Math.floor((C - 0x10000) / 0x400) + 0xD800 
  2. L = (C - 0x10000) % 0x400 + 0xDC00  

转换公式变换后,比如从代理对 <H, L> 转换成一个 Unicode 码位 C,可以使用公式:


  1. C = (H - 0xD800) * 0x400 + L - 0xDC00 + 0x10000 

五、Ok,那么关于 JavaScript 的编码问题呢?

在 ECMAScript 中定义来怎样解释字符的问题.

在 level 3 或者更高等级的实现中,遵循国际标准,与 Unicode 3.0 标准或者更新的标准,以及 ISO/IEC
10646-1,和 UCS-2 或者 UTF-16 作为编码格式。如果采用的 ISO/IEC 10646-1 自己未被指定,它被认定为 BMP
的自己,集合 300(这里没懂)。如果没有采用其它的编码格式,那么将按照 UTF-16 进行编码。

换句话说,JavaScript 引擎是允许使用 UCS-2 或者 UTF-16 进行编码的。

然后按照 specific parts 规定,认为引擎里面的编码需要一些 UTF-16 的知识。

当然,内部引擎对于大多数 JavaScript 开发者来说没有实际影响。对于更多有趣的发现JavaScript 是如何考虑字符的 中,有一段:

尽管在本文档的其它部分中,表示字符单元和文字字符将使用 16 位的无符号值,用来表示单个 16 位文本单元。Unicode
字符将使用抽象的语言或印刷单元(可超过16位,因此可以由多个代码单元)来表示。码位可以用 Unicode
标准值来表示。一个组合字符序列的成分可以有个别“Unicode 字符”,即使一个用户可能会认为整个序列是单个字符。

可能需要重新翻译,原文

Throughout the rest of this document, the phrase code unit and the
word character will be used to refer to a 16-bit unsigned value used to
represent a single 16-bit unit of text.

The phrase Unicode character will be used to refer to the abstract
linguistic or typographical unit represented by a single Unicode scalar
value (which may be longer than 16 bits and thus may be represented by
more than one code unit).

The phrase code point refers to such a Unicode scalar value.

Unicode character only refers to entities represented by single
Unicode scalar values: the components of a combining character sequence
are still individual “Unicode characters”, even though a user might
think of the whole sequence as a single character.

JavaScript 使用单独字符来处理字符单元,然后人们通常认为是一组 Unicode 字符。当使用 BMP 范围外 Unicode
字符的时候,这样会有一些不好的结果。比如代理对使用 2 个字符单元组成:'?'.length == 2,即使这里是只有一个 Unicode
字符。如果是字符,代理对将暴露一部分:'?' == '\uD834\uDF06'。

在这里你想到了什么呢?对于这种方式,至少是 UCS-2 的替代方式(不同的地方是,UCS-2 不允许有代理字符,然后 JavaScript 字符串是这样做的)。

你可以认为它像 UTF-16
一样在工作,特别是分成两部分的方式是被允许的,代理的这种错误排序是被允许的,代理被暴露成了分离的字符。我认为你将更容易的理解成这种行为叫“UCS-2
的代理方式”(UCS-2 with surrogates,不好翻译,也可以理解成伴随着代理的 UCS-2)。

类似 UCS-2 的行为对整个语言更有影响,比如 补充字符范围的正则表达式 比那些支持 UTF-16 的语言要更难写。

代理对只是为了显示在浏览器中(layout 的时候),对单个 Unicode 字符的重新组合。这发生在 JavaScript 引擎的影响范围之外。为了证明这个,你能在 document.write() 的时候分开写一个高位代理和地位代理字符.


  1. document.write('\uD834'); 
  2.  
  3. document.write('\uDF06');  

在结束后也将被渲染成一个图案:?。

六、结论

JavaScript 引擎内部是自由的使用 UCS-2 或者 UTF-16。我所知道的大多数引擎使用的是 UTF-16,无论它们使用什么方式实现,它只是一个具体的实现,这不将影响到语言的特性。

然后对于 ECMAScript/JavaScript 语言本身,实现的效果是通过 UCS-2,而非 UTF-16。

如果你在任何时候需要 编码一个 Unicode 字符, 在必要的时候能够替换成分离的代理,也可以免费试用我的 JavaScript escaper 工具。

如果你想在一个 JavaScript 字符串中获取 Unicode 字符的长度,或者创建一个基于 non-BMP Unicode 码位的字符串,你能使用Punycode.js 的工具方法,将 UCS-2 字符串转换成 UTF-16 码位。


  1. // `String.length` 只是统计所以 Unicode 字符 
  2. punycode.ucs2.decode('?').length; // 1 
  3. // `String.fromCharCode` 能够让你直接使用非分离的代理 
  4. punycode.ucs2.encode([0x1D306]); // '?' 
  5. punycode.ucs2.encode([119558]); // '?'  

ECMAScript 6 在字符串中将支持一些新的编码序列(现在看来已经 ok 了,可以查看一下资料简单了解下),名为 Unicode
code point escapes 比如:\u{1D306}。另外,它将定义 String.fromCodePoint 和
String#codePointAt,这两个方法都接受码位(code points) 而不是字符单元(code units)

感谢:Jonas ‘nlogax’ Westerlund, Andrew ‘bobince’ Clover 以及 Tab Atkins Jr.。他们给了我调查的灵感和帮助我。

提示:如果你喜欢阅读关于 JavaScript 的内部字符编码,可以 check out JavaScript has a Unicode problem,这里更详细解释了实际的问题,以及提供了解决方法。

作者:小撸

来源:51CTO

时间: 2025-01-02 03:13:17

JavaScript的内部字符编码是UCS-2还是UTF-16的相关文章

浅谈JavaScript中的字符编码转换问题_基础知识

要获得字符的Unicode编码,可以使用string.charCodeAt(index)方法,其定义为:    strObj.charCodeAt(index)       index为指定字符在strObj对象中的位置(基于0的索引),返回值为0与65535之间的16位整数.例如: var strObj = "ABCDEFG"; var code = strObj.charCodeAt(2); // Unicode value of character 'C' is 67      

javascript unescape() escape() 字符编码解码函数

escape() 函数可对字符串进行编码,这样就可以在所有的计算机上读取该字符串. 语法 escape(string)参数 描述 string 必需.要被转义或编码的字符串. 返回值 已编码的 string 的副本.其中某些字符被替换成了十六进制的转义序列 function php教程escape($str) {          $sublen=strlen($str);          $retrunstring="";          for ($i=0;$i<$sub

JAVA里字符编码的探索与理解

编码 今天终于把JAVA里一个比较头痛的问题--字符编码弄清晰了,所以写一篇文章来纪念一下,也为大家提供一点自己的心得. 众所周知,JAVA为了国际通用,用的是UNICODE来保存里面的字符.而UNICODE只是一个种字符集,字符的存储和表示要用到一定的字符编码格式,而与UNICODE对应的字符编码格式就是我们常看到的UTF-8,UTF-16等等,而UTF-8是最常用的,所以人们常常把它和UNICODE等同起来(我以前就是这样的),这在某些情况下是没有错的,但这样的理解在JAVA里就会产生一些混

字符编码终极笔记:ASCII、Unicode、UTF-8、UTF-16、UCS、BOM、Endian

1.字符编码.内码,顺带介绍汉字编码  字符必须编码后才能被计算机处理.计算机使用的缺省编码方式就是计算机的内码.早期的计算机使用7位的ASCII编码,为了处理汉字,程序员设计了用于简体中文的GB2312和用于繁体中文的big5.  GB2312(1980年)一共收录了7445个字符,包括6763个汉字和682个其它符号.汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768.其中有5个空位是D7FA-D7FE.  GB2312支持的汉字太少.1995年的汉字扩

JavaScript Unicode 字符编码详解教程

Unicode 是为了解决传统的字符编码方案的局限而产生的,例如ISO 8859所定义的字符虽然在不同的国家中广泛地使用,可是在不同国家间却经常出现不兼容的情况.很多传统的编码方式都有一个共同的问题,即容许电脑处理双语环境(通常使用拉丁字母以及其本地语言),但却无法同时支持多语言环境(指可同时处理多种语言混合的情况). 一.Unicode是什么? Unicode源于一个很简单的想法:将全世界所有的字符包含在一个集合里,计算机只要支持这一个字符集,就能显示所有的字符,再也不会有乱码了. 它从0开始

解析JavaScript中的字符串类型与字符编码支持_基础知识

定义字符串就是零个或多个排在一起的字符,放在单引号或双引号之中. 'abc' "abc" 单引号字符串的内部,可以使用双引号.双引号字符串的内部,可以使用单引号. 'key = "value"' "It's a long journey" 上面两个都是合法的字符串. 如果要在单引号字符串的内部,使用单引号(或者在双引号字符串的内部,使用双引号),就必须在内部的单引号(或者双引号)前面加上反斜杠,用来转义. 'Did she say \'Hello

JavaScript将字符串转换成字符编码列表的方法

 这篇文章主要介绍了JavaScript将字符串转换成字符编码列表的方法,实例分析了javascript中charCodeAt函数的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下     本文实例讲述了JavaScript将字符串转换成字符编码列表的方法.分享给大家供大家参考.具体如下: JavaScript将字符串转换成字符编码列表,例如foo转换成 [112,111,111] 方法 1: JavaScript 1.6 ? 1 2 Array.map('foo', function(x)

HTML与javascript常碰到的编码问题第1/2页_javascript技巧

在这里我简单的谈一下前端HTML与javascript日常工作中常碰到的编码问题.在计算机中,我们储存的信息都是用二进制码表示的.我们认识的.屏幕上显示的英文.汉字等符号和储存用的二进制代码的互相转换,就是编码. 有两个基本概念需要说明,charset 和 character encoding: charset ,字符集,也就是某个符号和某个数字映射关系的一个表,也就是它决定了107 是koubei 的 'a',21475 是口碑的"口",不同的表有不同的映射关系,如 ascii,gb

[IT]HTML网页源码的字符编码(charset)解释

当你通过浏览器,打开某个网站,即某个url地址的时候,你所能正常看到网页的内容,各种文字,都可以正常显示,且没有显示乱码. 此过程,涉及到,浏览器帮你正确解析HTML源码,其中涉及到HTML网页源码的字符编码处理方面的问题. 和字符编码处理相关的大概逻辑是: 1.浏览器访问对应的url地址,并获取对应的HTML(或者,以及,其他的css,javascript等)网页源码 2.浏览器识别解析HTML源码内容 其中包含了解析HTML的头部(head),找到对应的charset和Content-typ