Buffer 是什么？和字符编码有什么关系？

详细解析#

Buffer 和 Uint8Array#

• 每个元素是 0～255 的整数，length 是字节数，创建后长度不能改变
• 继承自 Uint8Array，能用在任何接收 Uint8Array 的地方；额外提供了按编码转字符串、readUInt32BE 这类按格式读写数字的方法
• 数据存放在 V8 堆外，process.memoryUsage() 里的 arrayBuffers 统计的就是这部分内存
• 字符串的 length 是 UTF-16 码元的个数，不是字节数：'中文'.length 是 2，Buffer.byteLength('中文') 是 6

创建方式#

allocUnsafe 适合马上会被完整写满的场景，比如分配好之后立刻把读到的数据填进去。如果没写满就发送出去，残留的旧数据（可能是别的请求的内容、密钥）会一起泄露。

编码转换#

Buffer 支持的编码有 utf8、utf16le、latin1、ascii、base64、base64url、hex 等，不支持 GBK 这类中文编码。

const buf = Buffer.from('你好', 'utf8')
console.log(buf)                    // <Buffer e4 bd a0 e5 a5 bd>：每个汉字 3 个字节
console.log(buf.toString('hex'))    // e4bda0e5a5bd
console.log(buf.toString('base64')) // 5L2g5aW9
console.log(Buffer.from('5L2g5aW9', 'base64').toString()) // 你好

要分清两类编码：utf8、utf16le 是字符编码，决定一个字符对应哪几个字节；hex、base64 是把任意字节表示成可打印文本的方式，常用来在 JSON、URL、HTTP 头里传输二进制数据。

为什么会出现乱码#

UTF-8 是变长编码：ASCII 字符占 1 个字节，常用汉字占 3 个字节，多数 emoji 占 4 个字节。从文件或网络读数据时，每一块的边界按字节数划分，完全可能落在一个汉字的中间：

import { StringDecoder } from 'node:string_decoder'

const buf = Buffer.from('你好')
const part1 = buf.subarray(0, 4) // "你"的 3 个字节 + "好"的第 1 个字节
const part2 = buf.subarray(4)    // "好"的后 2 个字节

// 错误：每块单独解码，不完整的字节被替换成 U+FFFD
console.log(part1.toString() + part2.toString()) // 你���

// 正确：StringDecoder 把末尾不完整的字节先存起来，和下一块拼成完整的字符
const decoder = new StringDecoder('utf8')
let text = decoder.write(part1) // "你"
text += decoder.write(part2)    // "好"
text += decoder.end()
console.log(text) // 你好

几种解决方法：

1. 数据量不大时，先收集所有块，拼接后再统一解码：Buffer.concat(chunks).toString('utf8')
2. 用 StringDecoder 逐块解码，如上
3. 流式读取时调用 readable.setEncoding('utf8')，或在创建流时传入 encoding，内部用的就是 StringDecoder，见 Stream 和背压
4. Web 标准的 TextDecoder 加上 { stream: true } 选项，效果相同

常见的错误写法是 req.on('data', (chunk) => { body += chunk })：+= 会把每个 chunk 单独转成字符串，汉字恰好跨块时就会乱码。正确写法：

const chunks = []
for await (const chunk of req) chunks.push(chunk)
const body = Buffer.concat(chunks).toString('utf8')

面试官可能追问#

易错点#

• buf.subarray() 和 buf.slice() 返回的都是共享同一块内存的视图，改一个另一个也会变；Uint8Array.prototype.slice 才会复制。Buffer 的 slice 已经废弃，需要复制时用 Buffer.from(buf)
• 拼接流数据时写 body += chunk，汉字跨块就会乱码
• Buffer.allocUnsafe 的内容可能是旧数据，没写满就发送会泄露内存里的敏感信息
• 设置 Content-Length 这类按字节计算的值时用 Buffer.byteLength(str)，不能用 str.length