Node.js Stream 流式编程与 Buffer 二进制处理

Sat, 15 Aug 2026 10:00:00 +0800

1. 为什么需要 Stream

Stream 是 Node.js 的核心抽象，处理大量数据时无需一次性加载到内存，边读边处理，内存占用恒定。

无 Stream（全部加载）：
 读取 1GB 文件 → 加载到内存 → 处理 → 写入新文件
 内存占用: 1GB+

有 Stream（边读边写）：
 读取 chunk ──→ 处理 chunk ──→ 写入 chunk
 内存占用: 16KB (chunk size)

2. 四种流类型

类型	说明	示例
Readable	可读流（数据源）	fs.createReadStream、HTTP req
Writable	可写流（数据目标）	fs.createWriteStream、HTTP res
Duplex	可读可写（双向）	net.Socket、TCP 连接
Transform	转换流（读入→转换→写出）	zlib.createGzip、加密流

2.1 Readable 流

const fs = require('fs');

// 创建可读流
const readable = fs.createReadStream('large-file.txt', {
 encoding: 'utf8',
 highWaterMark: 16 * 1024 // 每次读取 16KB
});

// 消费数据
readable.on('data', (chunk) => {
 console.log(`Received ${chunk.length} bytes`);
});
readable.on('end', () => console.log('Done'));
readable.on('error', (err) => console.error(err));

// 或使用异步迭代器（更现代）
(async () => {
 for await (const chunk of readable) {
 console.log(chunk);
 }
})();

2.2 Writable 流

const writable = fs.createWriteStream('output.txt');

writable.write('Hello ');
writable.write('World\n');
writable.end('Done!');

writable.on('finish', () => console.log('写入完成'));

2.3 Transform 转换流

const { Transform } = require('stream');

// 自定义转换流：将所有输入转为大写
const upperCaseTransform = new Transform({
 transform(chunk, encoding, callback) {
 this.push(chunk.toString().toUpperCase());
 callback();
 }
});

// 使用管道链
fs.createReadStream('input.txt')
 .pipe(upperCaseTransform)
 .pipe(fs.createWriteStream('output.txt'));

3. 管道与背压

3.1 Pipe 管道链

const fs = require('fs');
const zlib = require('zlib');

// 压缩文件流式处理
fs.createReadStream('input.txt')
 .pipe(zlib.createGzip()) // 压缩
 .pipe(fs.createWriteStream('input.txt.gz'));

// 解压
fs.createReadStream('input.txt.gz')
 .pipe(zlib.createGunzip())
 .pipe(fs.createWriteStream('output.txt'));

3.2 背压（Backpressure）

当 Writable 消费速度慢于 Readable 生产速度时，需要背压机制防止内存无限增长。

Dart 语言基础与特性

Thu, 13 Aug 2026 10:00:00 +0800

开篇：为什么选 Dart？

Dart 是 Google 于 2011 年发布的编程语言，最初定位为替代 JavaScript 的 Web 语言。虽然这一目标未能实现，但 Dart 凭借简洁的语法、高效的 JIT/AOT 编译能力以及出色的开发工具链，在 2017 年随着 Flutter 的推出迎来了新生。如今，Dart 不仅是 Flutter 框架的唯一开发语言，更通过其现代化的类型系统和异步模型，成为移动、Web、桌面跨平台开发的重要工具。

Stream on PlumePHP