Node.js Buffer

Buffer

稳定性: 3 - 稳定

纯Javascript语言对Unicode友好,能够很好地处理Unicode编码的字符串数据,但是难以处理二进制数据。在处理TCP流和文件系统时经常需要操作字节流。Node提供了一些机制,用于操作、创建、以及消耗字节流。

在Node.js中提供了Buffer,它可以处理二进制以及非Unicode编码的数据。

在Buffer类实例化中存储了原始数据。Buffer类似于一个整数数组,在V8堆(the V8 heap)原始存储空间给它分配了内存。一旦创建了Buffer实例,则无法改变大小。

Buffer类是全局对象,所以访问它不必使用require('buffer')

Buffers和Javascript字符串对象之间转换时需要一个明确的编码方法。下面是字符串的不同编码:

  • 'ascii'- 7位的ASCII数据。这种编码方式非常快,它会移除最高位内容。

Buffer中创建一个数组,需要注意以下规则:

  • Buffer是内存拷贝,而不是内存共享。

注意:Node.js v0.8只是简单的引用了array.buffer里的buffer,而不是对其进行克隆(cloning)。

介绍一个高效的方法,ArrayBuffer#slice()拷贝了一份切片,而Buffer#slice()新建了一份。

类: Buffer

Buffer类是全局变量类型,用来直接处理二进制数据。它能够使用多种方式构建。

new Buffer(size)

  • sizeNumber类型

分配一个新的size大小单位为8位字节的buffer。

注意:size必须小于kMaxLength,否则将会抛出RangeError异常。

new Buffer(array)

  • arrayArray

使用一个8位字节array数组分配一个新的buffer。

new Buffer(buffer)

  • buffer{Buffer}

拷贝参数buffer的数据到Buffer实例。

new Buffer(str, encoding)

  • str String类型 - 需要编码的字符串。

分配一个新的buffer ,其中包含着传入的str字符串。encoding 编码方式默认为'utf8'

类方法: Buffer.isEncoding(encoding)

  • encoding {String} 用来测试给定的编码字符串

如果参数编码encoding是有效的,则返回true,否则返回false。

类方法: Buffer.isBuffer(obj)

  • obj对象

obj如果是Buffer 返回true,否则返回 false。

类方法: Buffer.byteLength(string, encoding)

  • string String类型

将会返回这个字符串真实字节长度。 encoding编码默认是:utf8。 这和String.prototype.length不一样,因为那个方法返回这个字符串中字符的数量。

例如:

str = '\u00bd + \u00bc = \u00be'; console.log(str + ": " + str.length + " characters, " + Buffer.byteLength(str, 'utf8') + " bytes" // ½ + ¼ = ¾: 9 characters, 12 bytes

类方法: Buffer.concat(list, totalLength)

  • list {Array} 用来连接的数组

返回一个buffer对象,它将参数buffer数组中所有buffer对象拼接在一起。

如果传入的数组没有内容,或者totalLength是0,那将返回一个长度为0的buffer。

如果数组长度为1,返回数组第一个成员。

如果数组长度大于0,将会创建一个新的Buffer实例。

如果没有提供totalLength参数,会根据buffer数组计算,这样会增加一个额外的循环计算,所以提供一个准确的totalLength参数速度更快。

类方法: Buffer.compare(buf1, buf2)

  • buf1 {Buffer}

buf1.compare(buf2)一样, 用来对数组排序:

var arr = [Buffer('1234'), Buffer('0123')]; arr.sort(Buffer.compare

buf.length

  • Number类型

返回这个buffer的bytes数。注意这未必是buffer里面内容的大小。length是buffer对象所分配的内存数,它不会随着这个buffer对象内容的改变而改变。

buf = new Buffer(1234 console.log(buf.length buf.write("some string", 0, "ascii" console.log(buf.length // 1234 // 1234

length不能改变,如果改变length将会导致不可以预期的结果。如果想要改变buffer的长度,需要使用buf.slice来创建新的buffer。

buf = new Buffer(10 buf.write("abcdefghj", 0, "ascii" console.log(buf.length // 10 buf = buf.slice(0,5 console.log(buf.length // 5

buf.write(string, offset, encoding)

  • string String类型 - 写到buffer里

根据参数offset偏移量和指定的encoding编码方式,将参数string数据写入buffer。offset偏移量默认值是0,encoding编码方式默认是utf8。 length长度是将要写入的字符串的bytes大小。返回number类型,表示写入了多少8位字节流。如果buffer没有足够的空间来放整个string,它将只会只写入部分字符串。length默认是 buffer.length - offset。 这个方法不会出现写入部分字符。

buf = new Buffer(256 len = buf.write('\u00bd + \u00bc = \u00be', 0 console.log(len + " bytes: " + buf.toString('utf8', 0, len)

buf.writeUIntLE(value, offset, byteLength, noAssert)

buf.writeUIntBE(value, offset, byteLength, noAssert)

buf.writeIntLE(value, offset, byteLength, noAssert)

buf.writeIntBE(value, offset, byteLength, noAssert)

  • value {Number 类型}准备写到buffer字节数

value写入到buffer里, 它由offsetbyteLength决定,支持48位计算,例如:

var b = new Buffer(6 b.writeUIntBE(0x1234567890ab, 0, 6 // <Buffer 12 34 56 78 90 ab>

noAssert值为true时,不再验证valueoffset 的有效性。 默认是false

buf.readUIntLE(offset, byteLength, noAssert)

buf.readUIntBE(offset, byteLength, noAssert)

buf.readIntLE(offset, byteLength, noAssert)

buf.readIntBE(offset, byteLength, noAssert)

  • offset {Number 类型} 0 <= offset <= buf.length

支持48位以下的数字读取。 例如:

var b = new Buffer(6 b.writeUint16LE(0x90ab, 0 b.writeUInt32LE(0x12345678, 2 b.readUIntLE(0, 6).toString(16 // 指定为 6 bytes (48 bits) // 输出: '1234567890ab'

noAssert 值为true时, offset不再验证是否超过buffer的长度,默认为false

buf.toString(encoding, end)

  • encoding String 类型,可选参数,默认值: 'utf8'

根据encoding参数(默认是 'utf8')返回一个解码过的string类型。还会根据传入的参数start(默认是 0)和end (默认是 buffer.length)作为取值范围。

buf = new Buffer(26 for (var i = 0 ; i < 26 ; i++) { buf[i] = i + 97; // 97 is ASCII a } buf.toString('ascii' // 输出: abcdefghijklmnopqrstuvwxyz buf.toString('ascii',0,5 // 输出: abcde buf.toString('utf8',0,5 // 输出: abcde buf.toString(undefined,0,5 // encoding defaults to 'utf8', 输出 abcde

查看上面buffer.write()例子。

buf.toJSON()

返回一个JSON表示的Buffer实例。JSON.stringify 将会默认调用字符串序列化这个Buffer实例。

例如:

var buf = new Buffer('test' var json = JSON.stringify(buf console.log(json // '{"type":"Buffer","data":[116,101,115,116]}' var copy = JSON.parse(json, function(key, value) { return value && value.type === 'Buffer' ? new Buffer(value.data) : value; } console.log(copy // <Buffer 74 65 73 74>

bufindex

获取或设置指定index位置的8位字节。这个值是指单个字节,所以必须在合法的范围取值,16进制的0x00到0xFF,或者0到255。

例如: 拷贝一个ASCII编码的string字符串到一个buffer,一次一个byte进行拷贝:

str = "node.js"; buf = new Buffer(str.length for (var i = 0; i < str.length ; i++) { buf[i] = str.charCodeAt(i } console.log(buf // node.js

buf.equals(otherBuffer)

  • otherBuffer {Buffer}

如果 thisotherBuffer 拥有相同的内容,返回true。

buf.compare(otherBuffer)

  • otherBuffer {Buffer}

返回一个数字,表示 thisotherBuffer 之前,之后或相同。

buf.copy(targetBuffer, targetStart, sourceEnd)

  • targetBuffer Buffer 对象 - Buffer to copy into

buffer拷贝,源和目标可以相同。targetStart目标开始偏移和sourceStart源开始偏移默认都是0。sourceEnd源结束位置偏移默认是源的长度 buffer.length

例如:创建2个Buffer,然后把buf1的16到19位内容拷贝到buf2第8位之后。

buf1 = new Buffer(26 buf2 = new Buffer(26 for (var i = 0 ; i < 26 ; i++) { buf1[i] = i + 97; // 97 is ASCII a buf2[i] = 33; // ASCII ! } buf1.copy(buf2, 8, 16, 20 console.log(buf2.toString('ascii', 0, 25) // !!!!!!!!qrst!!!!!!!!!!!!!

例如: 在同一个buffer中,从一个区域拷贝到另一个区域:

buf = new Buffer(26 for (var i = 0 ; i < 26 ; i++) { buf[i] = i + 97; // 97 is ASCII a } buf.copy(buf, 0, 4, 10 console.log(buf.toString() // efghijghijklmnopqrstuvwxyz

buf.slice(start)

  • start Number类型,可选参数,默认值: 0

返回一个新的buffer,这个buffer将会和老的buffer引用相同的内存地址,根据start(默认是 0 ) 和end (默认是 buffer.length ) 偏移和裁剪了索引。 负的索引是从buffer尾部开始计算的。

修改这个新的buffer实例slice切片,也会改变原来的buffer!

例如: 创建一个ASCII字母的Buffer,进行slice切片,然后修改源Buffer上的一个byte。

var buf1 = new Buffer(26 for (var i = 0 ; i < 26 ; i++) { buf1[i] = i + 97; // 97 is ASCII a } var buf2 = buf1.slice(0, 3 console.log(buf2.toString('ascii', 0, buf2.length) buf1[0] = 33; console.log(buf2.toString('ascii', 0, buf2.length) // abc // !bc

buf.readUInt8(offset, noAssert)

  • offset Number类型

从这个buffer对象里,根据指定的偏移量,读取一个有符号8位整数 整形。

若参数noAssert为true将不会验证offset偏移量参数。 如果这样offset 可能会超出buffer的末尾。默认是false

例如:

var buf = new Buffer(4 buf[0] = 0x3; buf[1] = 0x4; buf[2] = 0x23; buf[3] = 0x42; for (ii = 0; ii < buf.length; ii++) { console.log(buf.readUInt8(ii) } // 0x3 // 0x4 // 0x23 // 0x42

buf.readUInt16LE(offset, noAssert)

buf.readUInt16BE(offset, noAssert)

  • offset Number类型

从buffer对象里,根据指定的偏移量,使用特殊的endian字节序格式读取一个有符号16位整数。

若参数noAssert为true将不会验证offset偏移量参数。 这意味着offset可能会超出buffer的末尾。默认是false

例如:

var buf = new Buffer(4 buf[0] = 0x3; buf[1] = 0x4; buf[2] = 0x23; buf[3] = 0x42; console.log(buf.readUInt16BE(0) console.log(buf.readUInt16LE(0) console.log(buf.readUInt16BE(1) console.log(buf.readUInt16LE(1) console.log(buf.readUInt16BE(2) console.log(buf.readUInt16LE(2) // 0x0304 // 0x0403 // 0x0423 // 0x2304 // 0x2342 // 0x4223

buf.readUInt32LE(offset, noAssert)

buf.readUInt32BE(offset, noAssert)

  • offset Number类型

从这个buffer对象里,根据指定的偏移量,使用指定的endian字节序格式读取一个有符号32位整数。

若参数noAssert为true将不会验证offset偏移量参数。 这意味着offset可能会超出buffer的末尾。默认是false

例如:

var buf = new Buffer(4 buf[0] = 0x3; buf[1] = 0x4; buf[2] = 0x23; buf[3] = 0x42; console.log(buf.readUInt32BE(0) console.log(buf.readUInt32LE(0) // 0x03042342 // 0x42230403

buf.readInt8(offset, noAssert)

  • offset Number类型

从这个buffer对象里,根据指定的偏移量,读取一个signed 8位整数。

若参数noAssert为true将不会验证offset偏移量参数。 这意味着offset可能会超出buffer的末尾。默认是false

返回和buffer.readUInt8一样,除非buffer中包含了有作为2的补码的有符号值。

buf.readInt16LE(offset, noAssert)

buf.readInt16BE(offset, noAssert)

  • offset Number类型

从这个buffer对象里,根据指定的偏移量,使用特殊的endian格式读取一个signed 16位整数。

若参数noAssert为true将不会验证 offset 偏移量参数。 这意味着offset可能会超出buffer的末尾。默认是false

返回和buffer.readUInt16一样,除非buffer中包含了有作为2的补码的有符号值。

buf.readInt32LE(offset, noAssert)

buf.readInt32BE(offset, noAssert)

  • offset Number类型

从这个buffer对象里,根据指定的偏移量,使用指定的endian字节序格式读取一个signed 32位整数。

若参数noAssert为true将不会验证offset偏移量参数。 这意味着offset可能会超出buffer的末尾。默认是false

buffer.readUInt32一样返回,除非buffer中包含了有作为2的补码的有符号值。

buf.readFloatLE(offset, noAssert)

buf.readFloatBE(offset, noAssert)

  • offset Number类型

从这个buffer对象里,根据指定的偏移量,使用指定的endian字节序格式读取一个32位浮点数。

若参数noAssert为true将不会验证offset偏移量参数。 这意味着offset可能会超出buffer的末尾。默认是false

例如:

var buf = new Buffer(4 buf[0] = 0x00; buf[1] = 0x00; buf[2] = 0x80; buf[3] = 0x3f; console.log(buf.readFloatLE(0) // 0x01

buf.readDoubleLE(offset, noAssert)

buf.readDoubleBE(offset, noAssert)

  • offset Number类型

从这个buffer对象里,根据指定的偏移量,使用指定的endian字节序格式读取一个64位double。

若参数noAssert为true将不会验证offset偏移量参数。 这意味着offset可能会超出buffer 的末尾。默认是false

例如:

var buf = new Buffer(8 buf[0] = 0x55; buf[1] = 0x55; buf[2] = 0x55; buf[3] = 0x55; buf[4] = 0x55; buf[5] = 0x55; buf[6] = 0xd5; buf[7] = 0x3f; console.log(buf.readDoubleLE(0) // 0。3333333333333333

buf.writeUInt8(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量将value写入buffer。注意:value必须是一个合法的有符号 8 位整数。

若参数noAssert为true将不会验证offset 偏移量参数。 这意味着value可能过大,或者offset可能会超出buffer的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则不要使用。默认是false

例如:

var buf = new Buffer(4 buf.writeUInt8(0x3, 0 buf.writeUInt8(0x4, 1 buf.writeUInt8(0x23, 2 buf.writeUInt8(0x42, 3 console.log(buf // <Buffer 03 04 23 42>

buf.writeUInt16LE(value, offset, noAssert)

buf.writeUInt16BE(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量和指定的endian格式将value写入buffer。注意:value必须是一个合法的有符号16位整数。

若参数noAssert为true将不会验证valueoffset偏移量参数。 这意味着value可能过大,或者offset可能会超出buffer的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是false

例如:

var buf = new Buffer(4 buf.writeUInt16BE(0xdead, 0 buf.writeUInt16BE(0xbeef, 2 console.log(buf buf.writeUInt16LE(0xdead, 0 buf.writeUInt16LE(0xbeef, 2 console.log(buf // <Buffer de ad be ef> // <Buffer ad de ef be>

buf.writeUInt32LE(value, offset, noAssert)

buf.writeUInt32BE(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量和指定的endian格式将value写入buffer。注意:value必须是一个合法的有符号32位整数。

若参数noAssert为true将不会验证valueoffset偏移量参数。 这意味着value可能过大,或者offset可能会超出buffer的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是false

例如:

var buf = new Buffer(4 buf.writeUInt32BE(0xfeedface, 0 console.log(buf buf.writeUInt32LE(0xfeedface, 0 console.log(buf // <Buffer fe ed fa ce> // <Buffer ce fa ed fe>

buf.writeInt8(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量将value写入buffer。注意:value必须是一个合法的signed 8位整数。

若参数noAssert为true将不会验证valueoffset偏移量参数。这意味着value可能过大,或者offset可能会超出buffer的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是false

buffer.writeUInt8一样工作,除非是把有2的补码的有符号整数有符号整形写入buffer。

buf.writeInt16LE(value, offset, noAssert)

buf.writeInt16BE(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量和指定的endian格式将value写入buffer。注意:value必须是一个合法的signed 16位整数。

若参数noAssert为true将不会验证valueoffset偏移量参数。 这意味着value可能过大,或者offset可能会超出buffer的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是false

buffer.writeUInt16*一样工作,除非是把有2的补码的有符号整数 有符号整形写入buffer

buf.writeInt32LE(value, offset, noAssert)

buf.writeInt32BE(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量和指定的endian格式将value写入buffer。注意:value必须是一个合法的signed 32位整数。

若参数noAssert为true将不会验证valueoffset偏移量参数。 这意味着value可能过大,或者offset可能会超出 buffer 的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是false

buffer.writeUInt32*一样工作,除非是把有2的补码的有符号整数、有符号整形写入buffer。

buf.writeFloatLE(value, offset, noAssert)

buf.writeFloatBE(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量和指定的endian格式将value写入buffer。注意:当value不是一个32位浮点数类型的值时,结果将是不确定的。

若参数noAssert为true将不会验证valueoffset偏移量参数。这意味着value可能过大,或者offset可能会超出buffer的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是false

例如:

var buf = new Buffer(4 buf.writeFloatBE(0xcafebabe, 0 console.log(buf buf.writeFloatLE(0xcafebabe, 0 console.log(buf // <Buffer 4f 4a fe bb> // <Buffer bb fe 4a 4f>

buf.writeDoubleLE(value, offset, noAssert)

buf.writeDoubleBE(value, offset, noAssert)

  • value Number类型

根据传入的offset偏移量和指定的endian格式将value写入buffer。注意:value必须是一个有效的64位double类型的值。

若参数noAssert为true将不会验证valueoffset偏移量参数。 这意味着value可能过大,或者offset可能会超出buffer的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是false

例如:

var buf = new Buffer(8 buf.writeDoubleBE(0xdeadbeefcafebabe, 0 console.log(buf buf.writeDoubleLE(0xdeadbeefcafebabe, 0 console.log(buf // <Buffer 43 eb d5 b7 dd f9 5f d7> // <Buffer d7 5f f9 dd b7 d5 eb 43>

buf.fill(value, offset)

  • value

使用指定的value来填充这个buffer。如果没有指定offset (默认是 0) 并且end(默认是buffer.length) ,将会填充整个buffer。

var b = new Buffer(50 b.fill("h"

buffer.iNSPECT_MAX_BYTES

  • Number 类型,默认值: 50

设置当调用buffer.inspect()方法后,将会返回多少bytes 。用户模块重写这个值可以。

注意这个属性是require('buffer')模块返回的。这个属性不是在全局变量Buffer中,也不在buffer的实例里。

类: SlowBuffer

返回一个不被池管理的Buffer

大量独立分配的Buffer容易带来垃圾,为了避免这个情况,小于4KB的空间都是切割自一个较大的独立对象。这种策略既提高了性能也改善了内存使用率。V8不需要跟踪和清理过多的Persistent对象。

当开发者需要将池中一小块数据保留一段时间,比较好的办法是用SlowBuffer创建一个不被池管理的Buffer实例,并将相应数据拷贝出来,如下所示:

// need to keep around a few small chunks of memory var store = []; socket。on('readable', function() { var data = socket。read( // allocate for retained data var sb = new SlowBuffer(10 // copy the data into the new allocation data。copy(sb, 0, 0, 10 store。push(sb }

请谨慎使用,仅作为经常发现他们的应用中过度的内存保留时的最后手段。