posts

文章归档

PlumePHP 全站文章的归档入口,按时间倒序汇总各专题的技术文章,并提供按主题浏览的专题分类入口。

这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。

全部文章

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
data-engineering

湖仓访问控制与权限治理

湖仓把数据放进对象存储后,权限不再由数据库统一把守,任何人都可能绕过引擎直读文件。本文拆解湖仓权限的三层模型(存储层、表层、行列表级)、Iceberg 与 Delta 的表级授权、统一 Catalog 与凭证下发机制、行过滤与列掩码、标签驱动的访问控制、跨引擎权限一致性、审计与合规落地,并给出最小权限的推进路径与踩坑清单。

10 分钟阅读
data-engineering

非结构化文档 ETL 与多模态数据

企业 80% 的数据躺在 PDF、扫描件、Office 文档、邮件与音视频里,它们无法被 SQL 直接查询。本文讲清非结构化 ETL 的完整链路:文档解析工具选型与 PDF 三种形态的差异、OCR 与版面分析、表格抽取、分块策略与重叠控制、元数据与血缘注入、嵌入生成与向量入库、增量重处理与幂等设计,以及质量评估、成本控制与常见踩坑清单。

8 分钟阅读
data-engineering

Spark 性能调优:Shuffle、内存与数据倾斜

Spark 作业变慢的原因通常只有三个:Shuffle 太贵、内存不够用、数据分布不均。本文从执行计划与 Spark UI 定位瓶颈入手,拆解 Shuffle 的落盘与网络代价及减少手段、统一内存管理与 executor 内存分配公式、GC 与序列化选择、数据倾斜的识别与加盐/广播/AQE 三类解法、小文件与小分区治理,并给出可直接套用的参数基线与调优流程。

8 分钟阅读
性能优化
data-engineering

数据管道测试与 CI/CD:从单元测试到数据 diff 门禁

数据管道的测试无法照搬应用测试:SQL 转换、状态存储与外部依赖让单元测试、集成测试和生产验证各有分工。本文拆解管道测试金字塔的分层策略、dbt 与 pytest 的单元测试写法、容器化集成测试、数据 diff 与对账断言、契约与 Schema 兼容性校验、CI/CD 流水线设计(分支构建、制品晋级、幂等回滚),以及影子运行与灰度发布的生产验证方法与常见反模式。

8 分钟阅读
CI/CD 幂等