二进制数组(ArrayBuffer对象、TypedArray视图和DataView视图)是JavaScript操作二进制数据的一个接口。
这个接口的原始设计目的,与WebGL项目有关。所谓WebGL,就是指浏览器与显卡之间的通信接口,为了满足JavaScript与显卡之间大量的、实时的数据交换,它们之间的数据通信必须是二进制的,而不能是传统的文本格式。文本格式传递一个32位整数,两端的JavaScript脚本与显卡都要进行格式转化,将非常耗时。这时要是存在一种机制,可以像C语言那样,直接操作字节,将4个字节的32位整数,以二进制形式原封不动地送入显卡,脚本的性能就会大幅提升。
二进制数组就是在这种背景下诞生的。它很像C语言的数组,允许开发者以数组下标的形式,直接操作内存,大大增强了JavaScript处理二进制数据的能力,使得开发者有可能通过JavaScript与操作系统的原生接口进行二进制通信。
二进制数组由三类对象组成。
简单说,ArrayBuffer对象代表原始的二进制数据,TypedArray视图用来读写简单类型的二进制数据,DataView视图用来读写复杂类型的二进制数据。
TypedArray视图支持的数据类型一共有9种(DataView视图支持除Uint8C以外的其他8种)。
Int8
Uint8
Uint8C
Int16
Uint16
Int32
Uint32
Float32
Float64
注意,二进制数组并不是真正的数组,而是类似数组的对象。
ArrayBuffer对象代表储存二进制数据的一段内存,它不能直接读写,只能通过视图(TypedArray视图和DataView视图)来读写,视图的作用是以指定格式解读二进制数据。
ArrayBuffer也是一个构造函数,可以分配一段可以存放数据的连续内存区域。如果要分配的内存区域很大,有可能分配失败(因为没有那么多的连续空余内存),所以有必要检查是否分配成功。使用 byteLength
//生成了一段32字节的内存区域,每个字节的值默认都是0
var buf = new ArrayBuffer(32);
console.log(buf.byteLength); // 32
上面代码生成了一段32字节的内存区域,每个字节的值默认都是0。可以看到,ArrayBuffer构造函数的参数是所需要的内存大小(单位字节)。
为了读写这段内容,需要为它指定视图。DataView视图的创建,需要提供ArrayBuffer对象实例作为参数。
//建立DataView视图
var dataView = new DataView(buf);
//以不带符号的8位整数格式,读取第一个元素
console.log(dataView.getUint8(0)); // 0
//TypedArray视图
//它不是一个构造函数,而是一组构造函数,代表不同的数据格式
//32位带符号整数视图
var x1 = new Int32Array(buf);
x1[0] = 1;
//8位不带符号整数
var x2 = new Uint8Array(buf);
//由于两个视图对应的是同一段内存,一个视图修改底层内存,会影响到另一个视图
x2[0] = 2;
x2[1] = 1;
console.log(x1[0]) // 258
TypedArray视图的构造函数,除了接受ArrayBuffer实例作为参数,还可以接受普通数组作为参数,直接分配内存生成底层的ArrayBuffer实例,并同时完成对这段内存的赋值。
//直接分配内存生成底层的ArrayBuffer实例,并返回一个对应类型的视图
var typedArray = new Uint8Array([0,1,2]);
typedArray[0] = 5;
console.log(typedArray) // [5, 1, 2]
console.log(typedArray.length)// 3
ArrayBuffer实例有一个slice方法,允许将内存区域的一部分,拷贝生成一个新的ArrayBuffer对象。除了slice方法,ArrayBuffer对象不提供任何直接读写内存的方法,只允许在其上方建立视图,然后通过视图读写。
var buffer = new ArrayBuffer(8);
//第一步是先分配一段新内存
//第二步是将原来那个ArrayBuffer对象指定的部分拷贝过去
var newBuffer = buffer.slice(0, 3);
ArrayBuffer有一个静态方法isView,返回一个布尔值,表示参数是否为ArrayBuffer的视图实例。这个方法大致相当于判断参数,是否为TypedArray实例或DataView实例。
var buffer = new ArrayBuffer(8);
ArrayBuffer.isView(buffer) // false
var v = new Int32Array(buffer);
ArrayBuffer.isView(v) // true
ArrayBuffer对象作为内存区域,可以存放多种类型的数据。同一段内存,不同数据有不同的解读方式,这就叫做“视图”(view)。
ArrayBuffer有两种视图,一种是TypedArray视图,另一种是DataView视图。前者的数组成员都是同一个数据类型,后者的数组成员可以是不同的数据类型。
目前,TypedArray视图一共包括9种类型,每一种视图都是一种构造函数。
Int8Array:8位有符号整数,长度1个字节。
Uint8Array:8位无符号整数,长度1个字节。
Uint8ClampedArray:8位无符号整数,长度1个字节,溢出处理不同。
Int16Array:16位有符号整数,长度2个字节。
Uint16Array:16位无符号整数,长度2个字节。
Int32Array:32位有符号整数,长度4个字节。
Uint32Array:32位无符号整数,长度4个字节。
Float32Array:32位浮点数,长度4个字节。
Float64Array:64位浮点数,长度8个字节。
这9个构造函数生成的数组,统称为TypedArray视图。它们很像普通数组,都有length属性,都能用方括号运算符([])获取单个元素,所有数组的方法,在它们上面都能使用。普通数组与TypedArray数组的差异主要在以下方面:
TypedArray数组提供9种构造函数,用来生成相应类型的数组实例。
TypedArray(buffer, byteOffset=0, length?)
// 创建一个8字节的ArrayBuffer
var b = new ArrayBuffer(8);
// 创建一个指向b的Int32视图,开始于字节0,直到缓冲区的末尾
var v1 = new Int32Array(b);
// 创建一个指向b的Uint8视图,开始于字节2,直到缓冲区的末尾
var v2 = new Uint8Array(b, 2);
// 创建一个指向b的Int16视图,开始于字节2,长度为2
var v3 = new Int16Array(b, 2, 2);
注意,byteOffset必须与所要建立的数据类型一致,否则会报错。
var buffer = new ArrayBuffer(8);
var i16 = new Int16Array(buffer, 1);
// Uncaught RangeError: start offset of Int16Array should be a multiple of 2
因为,带符号的16位整数需要两个字节,所以byteOffset参数必须能够被2整除。
如果想从任意字节开始解读ArrayBuffer对象,必须使用DataView视图,因为TypedArray视图只提供9种固定的解读格式。
TypedArray(length)
视图还可以不通过ArrayBuffer对象,直接分配内存而生成。
//生成一个8个成员的Float64Array数组64字节
var f64a = new Float64Array(8);
f64a[0] = 10;
f64a[1] = 20;
f64a[2] = f64a[0] + f64a[1];
TypedArray(typedArray)
TypedArray数组的构造函数,可以接受另一个TypedArray实例作为参数。
var x = new Int8Array([1, 1]);
//y开辟了新的内存空间并复制了x的值,然后在新的ArrayBuffer上建立了视图
//他们两个并不联动
var y = new Int8Array(x);
console.log(x[0]) // 1
console.log(y[0]) // 1
x[0] = 2;
console.log(x[0]) // 2
console.log(y[0]) // 1
//如果想基于同一段内存,构造不同的视图
//这里相当于把x视图读取的ArrayBuffer对象传了进去,调用的是第一个构造函数
var z = new Int8Array(x.buffer);
console.log(z[0]) // 2
TypedArray(arrayLikeObject)
构造函数的参数也可以是一个普通数组,然后直接生成TypedArray实例。
var typedArray = new Uint8Array([1, 2, 3, 4]);
console.log(typedArray);//Uint8Array { '0': 1, '1': 2, '2': 3, '3': 4 }
var normalArray = Array.prototype.slice.call(typedArray);
console.log(normalArray);//[ 1, 2, 3, 4 ]
注意,这时TypedArray视图会重新开辟内存,不会在原数组的内存上建立视图。
上面代码从一个普通的数组,生成一个8位无符号整数的TypedArray实例。
TypedArray数组也可以转换回普通数组。
普通数组的操作方法和属性,对TypedArray数组完全适用。
TypedArray.prototype.copyWithin(target, start[, end = this.length])
TypedArray.prototype.entries()
TypedArray.prototype.every(callbackfn, thisArg?)
TypedArray.prototype.fill(value, start=0, end=this.length)
TypedArray.prototype.filter(callbackfn, thisArg?)
TypedArray.prototype.find(predicate, thisArg?)
TypedArray.prototype.findIndex(predicate, thisArg?)
TypedArray.prototype.forEach(callbackfn, thisArg?)
TypedArray.prototype.indexOf(searchElement, fromIndex=0)
TypedArray.prototype.join(separator)
TypedArray.prototype.keys()
TypedArray.prototype.lastIndexOf(searchElement, fromIndex?)
TypedArray.prototype.map(callbackfn, thisArg?)
TypedArray.prototype.reduce(callbackfn, initialValue?)
TypedArray.prototype.reduceRight(callbackfn, initialValue?)
TypedArray.prototype.reverse()
TypedArray.prototype.slice(start=0, end=this.length)
TypedArray.prototype.some(callbackfn, thisArg?)
TypedArray.prototype.sort(comparefn)
TypedArray.prototype.toLocaleString(reserved1?, reserved2?)
TypedArray.prototype.toString()
TypedArray.prototype.values()
TypedArray数组没有concat方法。如果想要合并多个TypedArray数组,可以用下面这个函数:
function concatenate(resultConstructor, ...arrays) {
let totalLength = 0;
for (let arr of arrays) {
totalLength += arr.length;
}
let result = new resultConstructor(totalLength);
let offset = 0;
for (let arr of arrays) {
//这个方法把一段内容完全复制到另一段内存
//这里就是从result的offset开始完全复制arr
result.set(arr, offset);
offset += arr.length;
}
return result;
}
concatenate(Uint8Array, Uint8Array.of(1, 2), Uint8Array.of(3, 4))
// Uint8Array [1, 2, 3, 4]
另外,TypedArray数组与普通数组一样,部署了Iterator接口,所以可以被遍历。
let ui8 = new Uint8Array([0, 1, 2]);
for (let byte of ui8) {
console.log(byte);
}
// 0
// 1
// 2
字节序指的是数值在内存中的表示方式。
//建立一个4字节的ArrayBuffer
//这个buffer中可以放一个32位整数,也可以放两个16位整数
var buffer = new ArrayBuffer(4);
//建立一个32位整数的视图
var int32View = new Int32Array(buffer);
//所有个人电脑几乎都是小端字节序
//TypedArray数组内部也采用小端字节序读写数据
//存进去的值将是:0100 0000 0000 0000 0000 0000 0000 0000
int32View[0] = 2;
console.log(int32View);//Int32Array { '0': 2 }
//现在建立一个16位整数的视图,应该可以读出来两个数
//0100 0000 0000 0000
//0000 0000 0000 0000
var int16View = new Int16Array(buffer);
console.log(int16View);//Int16Array { '0': 2, '1': 0 }
这并不意味大端字节序不重要,事实上,很多网络设备和特定的操作系统采用的是大端字节序。这就带来一个严重的问题:如果一段数据是大端字节序,TypedArray数组将无法正确解析,因为它只能处理小端字节序!为了解决这个问题,JavaScript引入DataView对象,可以设定字节序。
下面这个函数可以判断出你所在的平台中的TypedArray是大端序还是小端序,利用的就是存进去一个int32,再用int8取出来,看看结果是什么:
const BIG_ENDIAN = Symbol('BIG_ENDIAN');
const LITTLE_ENDIAN = Symbol('LITTLE_ENDIAN');
function getPlatformEndianness() {
let arr32 = Uint32Array.of(0x12345678);
let arr8 = new Uint8Array(arr32.buffer);
switch ((arr8[0]*0x1000000) + (arr8[1]*0x10000) + (arr8[2]*0x100) + (arr8[3])) {
case 0x12345678:
return BIG_ENDIAN;
case 0x78563412:
return LITTLE_ENDIAN;
default:
throw new Error('Unknown endianness');
}
}
console.log(getPlatformEndianness());
每一种视图的构造函数,都有一个BYTES_PER_ELEMENT属性,表示这种数据类型占据的字节数。
console.log(Float64Array.BYTES_PER_ELEMENT)//8
ArrayBuffer转为字符串,或者字符串转为ArrayBuffer,有一个前提,即字符串的编码方法是确定的。假定字符串采用UTF-16编码(JavaScript的内部编码方式),可以自己编写转换函数。
// ArrayBuffer转为字符串,参数为ArrayBuffer对象
function ab2str(buf) {
return String.fromCharCode.apply(null, new Uint16Array(buf));
}
// 字符串转为ArrayBuffer对象,参数为字符串
function str2ab(str) {
// 每个UTF-16字符占用2个字节
var buf = new ArrayBuffer(str.length * 2);
var bufView = new Uint16Array(buf);
for (var i = 0, strLen = str.length; i < strLen; i++) {
bufView[i] = str.charCodeAt(i);
}
return buf;
}
var buf = str2ab("hello rabbits");
console.log(ab2str(buf));
不同的视图类型,所能容纳的数值范围是确定的。超出这个范围,就会出现溢出。比如,8位视图只能容纳一个8位的二进制值,如果放入一个9位的值,就会溢出。
TypedArray数组的溢出处理规则,简单来说,就是抛弃溢出的位,然后按照视图类型进行解释。
var uint8 = new Uint8Array(1);
uint8[0] = 256;
uint8[0] // 0
uint8[0] = -1;
uint8[0] // 255
TypedArray实例的buffer属性,返回整段内存区域对应的ArrayBuffer对象。该属性为只读属性。
var a = new Float32Array(64);
var b = new Uint8Array(a.buffer);
上面代码的a视图对象和b视图对象,对应同一个ArrayBuffer对象,即同一段内存。
byteLength属性返回TypedArray数组占据的内存长度,单位为字节。byteOffset属性返回TypedArray数组从底层ArrayBuffer对象的哪个字节开始。这两个属性都是只读属性。
length属性表示TypedArray数组含有多少个成员。
var x = new ArrayBuffer(64);
var v1 = new Uint8Array(x);
var v2 = new Int16Array(x, 2, 2);
//TypedArray.prototype.byteLength
console.log(v1.byteLength) // 64
console.log(v2.byteLength) // 4
console.log(v1.length) // 64
console.log(v2.length) // 2
//TypedArray.prototype.byteOffset
console.log(v1.byteOffset) // 0
console.log(v2.byteOffset) // 2
TypedArray数组的set方法用于复制数组(普通数组或TypedArray数组),也就是将一段内容完全复制到另一段内存,可以用第二个参数指定复制到目标数组的哪个位置。
var a = new Uint16Array(2);
a[0] = 8;
a[1] = 7;
var b = new Uint16Array(4);
var c = [1,2];
//c复制到b的开始
b.set(c);
//b将接收到的a保存到自己的第2个位置及以后
b.set(a, 2);
console.log(b);//Uint16Array { '0': 1, '1': 2, '2': 8, '3': 7 }
//a和b是两段独立的内存,互不影响
a[0] = 6;
a[1] = 5;
console.log(b);//Uint16Array { '0': 1, '1': 2, '2': 8, '3': 7 }
subarray方法是对于TypedArray数组的一部分,再建立一个新的视图。
var a = new Uint16Array(8);
var b = a.subarray(2,3);
a.byteLength // 16
b.byteLength // 2
TypeArray实例的slice方法,可以返回一个指定位置的新的TypedArray实例。
let ui8 = Uint8Array.of(0, 1, 2);
ui8.slice(-1)
// Uint8Array [ 2 ]
TypedArray数组的所有构造函数,都有一个静态方法of,用于将参数转为一个TypedArray实例。
//TypedArray.of()
var a = Float32Array.of(0.151, -8, 3.7);
console.log(a);
// Float32Array [ 0.151, -8, 3.7 ]
静态方法from接受一个可遍历的数据结构(比如数组)作为参数,返回一个基于这个结构的TypedArray实例。
Uint16Array.from([0, 1, 2])// Uint16Array [ 0, 1, 2 ]
//这个方法还可以将一种TypedArray实例,转为另一种。
var ui16 = Uint16Array.from(Uint8Array.of(0, 1, 2));
ui16 instanceof Uint16Array // true
from方法还可以接受一个函数,作为第二个参数,用来对每个元素进行遍历,功能类似map方法。
//这里溢出了
Int8Array.of(127, 126, 125).map(x => 2 * x)
// Int8Array [ -2, -4, -6 ]
//这里的值并没有溢出
//这说明遍历不是针对原来的8位整数数组
//from会将第一个参数指定的TypedArray数组,拷贝到另一段内存之中
//处理之后再将结果转成指定的数组格式
Int16Array.from(Int8Array.of(127, 126, 125), x => 2 * x)
// Int16Array [ 254, 252, 250 ]
由于视图的构造函数可以指定起始位置和长度,所以在同一段内存之中,可以依次存放不同类型的数据,这叫做“复合视图”。
var buffer = new ArrayBuffer(24);
//字节0到字节3:1个32位无符号整数
var idView = new Uint32Array(buffer, 0, 1);
//字节4到字节19:16个8位整数
var usernameView = new Uint8Array(buffer, 4, 16);
//字节20到字节23:1个32位浮点数
var amountDueView = new Float32Array(buffer, 20, 1);
如果一段数据包括多种类型(比如服务器传来的HTTP数据),这时除了建立ArrayBuffer对象的复合视图以外,还可以通过DataView视图进行操作。
DataView视图提供更多操作选项,而且支持设定字节序。本来,在设计目的上,ArrayBuffer对象的各种TypedArray视图,是用来向网卡、声卡之类的本机设备传送数据,所以使用本机的字节序就可以了;而DataView视图的设计目的,是用来处理网络设备传来的数据,所以大端字节序或小端字节序是可以自行设定的。
DataView.prototype.buffer:返回对应的ArrayBuffer对象
DataView.prototype.byteLength:返回占据的内存字节长度
DataView.prototype.byteOffset:返回当前视图从对应的ArrayBuffer对象的哪个字节开始
这几个方法是一样的
有8个方法读取内存:
getInt8:读取1个字节,返回一个8位整数。
getUint8:读取1个字节,返回一个无符号的8位整数。
getInt16:读取2个字节,返回一个16位整数。
getUint16:读取2个字节,返回一个无符号的16位整数。
getInt32:读取4个字节,返回一个32位整数。
getUint32:读取4个字节,返回一个无符号的32位整数。
getFloat32:读取4个字节,返回一个32位浮点数。
getFloat64:读取8个字节,返回一个64位浮点数。
这一系列get方法的参数都是一个字节序号(不能是负数,否则会报错),表示从哪个字节开始读取。
var buffer = new ArrayBuffer(24);
var dv = new DataView(buffer);
// 从第1个字节读取一个8位无符号整数
var v1 = dv.getUint8(0);
// 从第2个字节读取一个16位无符号整数
var v2 = dv.getUint16(1);
// 从第4个字节读取一个16位无符号整数
var v3 = dv.getUint16(3);
// 小端字节序
var v4 = dv.getUint16(1, true);
// 大端字节序
var v5 = dv.getUint16(3, false);
// 大端字节序
var v6 = dv.getUint16(3);
DataView视图提供8个方法写入内存:
setInt8:写入1个字节的8位整数。
setUint8:写入1个字节的8位无符号整数。
setInt16:写入2个字节的16位整数。
setUint16:写入2个字节的16位无符号整数。
setInt32:写入4个字节的32位整数。
setUint32:写入4个字节的32位无符号整数。
setFloat32:写入4个字节的32位浮点数。
setFloat64:写入8个字节的64位浮点数。
// 在第1个字节,以大端字节序写入值为25的32位整数
dv.setInt32(0, 25, false);
// 在第5个字节,以大端字节序写入值为25的32位整数
dv.setInt32(4, 25);
// 在第9个字节,以小端字节序写入值为2.5的32位浮点数
dv.setFloat32(8, 2.5, true);
大量的Web API用到了ArrayBuffer对象和它的视图对象。
传统上,服务器通过AJAX操作只能返回文本数据,即responseType属性默认为text。XMLHttpRequest第二版XHR2允许服务器返回二进制数据,这时分成两种情况。如果明确知道返回的二进制数据类型,可以把返回类型(responseType)设为arraybuffer;如果不知道,就设为blob。
如果知道传回来的是32位整数,可以像下面这样处理。
xhr.onreadystatechange = function () {
if (req.readyState === 4 ) {
var arrayResponse = xhr.response;
var dataView = new DataView(arrayResponse);
var ints = new Uint32Array(dataView.byteLength / 4);
xhrDiv.style.backgroundColor = "#00FF00";
xhrDiv.innerText = "Array is " + ints.length + "uints long";
}
}
网页Canvas元素输出的二进制像素数据,就是TypedArray数组。
var canvas = document.getElementById('myCanvas');
var ctx = canvas.getContext('2d');
var imageData = ctx.getImageData(0, 0, canvas.width, canvas.height);
var uint8ClampedArray = imageData.data;
需要注意的是,上面代码的uint8ClampedArray虽然是一个TypedArray数组,但是它的视图类型是一种针对Canvas元素的专有类型Uint8ClampedArray。这个视图类型的特点,就是专门针对颜色,把每个字节解读为无符号的8位整数,即只能取值0~255,而且发生运算的时候自动过滤高位溢出。这为图像处理带来了巨大的方便。
WebSocket可以通过ArrayBuffer,发送或接收二进制数据。
var socket = new WebSocket('ws://127.0.0.1:8081');
socket.binaryType = 'arraybuffer';
// Wait until socket is open
socket.addEventListener('open', function (event) {
// Send binary data
var typedArray = new Uint8Array(4);
socket.send(typedArray.buffer);
});
// Receive binary data
socket.addEventListener('message', function (event) {
var arrayBuffer = event.data;
// ···
});
Fetch API取回的数据,就是ArrayBuffer对象。
fetch(url)
.then(function(request){
return request.arrayBuffer()
})
.then(function(arrayBuffer){
// ...
});
如果知道一个文件的二进制数据类型,也可以将这个文件读取为ArrayBuffer对象。
var fileInput = document.getElementById('fileInput');
var file = fileInput.files[0];
var reader = new FileReader();
reader.readAsArrayBuffer(file);
reader.onload = function () {
var arrayBuffer = reader.result;
// ···
};