文本处理 on PlumePHP

NLP 入门实战：文本向量化、词嵌入与情感分析

Mon, 28 Sep 2026 10:00:00 +0800

引言

NLP 的核心问题是：把「人类语言」翻译成「模型能算的向量」。本文按处理管线走一遍——分词清洗 → 向量化（TF-IDF 起步，Word2Vec 进阶）→ 模型（经典分类器到 Transformer）→ 端到端情感分析实战，最后给 HuggingFace 生态与常见陷阱，让你能独立处理一个文本分类任务。

Unicode 与字符编码全解：UTF-8、码点、规范化与乱码排查

Mon, 28 Sep 2026 10:00:00 +0800

引言

「乱码」是世界级玄学，根因只有一条：编码不匹配。理解字符编码需要分清两个概念——字符集（Unicode 规定「有哪些字符」）与编码（UTF-8 规定「字符如何变字节」）。本文从 ASCII 一路讲到 Unicode 的码点、代理对、规范化与 emoji，最后给出一套乱码排查 SOP，让你从此不再被 锟斤拷 支配。

命令行文本处理工具链：sed、awk、jq 与管道组合

Mon, 28 Sep 2026 10:00:00 +0800

引言

一个不显眼的技能组合能省掉大量「写脚本」时间：sed 处理行、awk 处理字段、jq 处理 JSON、grep 找目标——再用管道串起来。这些工具的共同哲学是「数据流」：每个工具读一行处理一行，输出给下一个。本文按工具逐个讲透，再给 10 个真实场景的管道写法。

正则表达式深层解析：引擎、回溯与灾难性回溯

Mon, 28 Sep 2026 10:00:00 +0800

引言

正则表达式人人会用，但「为什么有些正则秒回、有些卡死 CPU」很少人讲透。答案在引擎：主流语言用的是带回溯的 NFA 引擎（慢但强大），而 RE2 用的是 DFA 引擎（快但受限）。本文从引擎讲起，把贪婪/懒惰/零宽断言/灾难性回溯一次讲清，并给出可直接照抄的实用模式库。