https://plumephp.com/tags/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/Recent content in 数据工程 on PlumePHPHugozh-CNTue, 01 Sep 2026 10:00:00 +0800https://plumephp.com/posts/data-engineering/Tue, 01 Sep 2026 10:00:00 +0800https://plumephp.com/posts/data-engineering/<style> .de-grid{display:grid;grid-template-columns:repeat(auto-fill,minmax(320px,1fr));gap:1.5rem;margin:1.5rem 0} .de-card{border:1px solid #e5e7eb;border-radius:10px;padding:1.25rem;background:#fff;transition:box-shadow .2s} .de-card:hover{box-shadow:0 6px 20px rgba(0,0,0,0.08)} .de-card .thumb{font-size:2rem;margin-bottom:.5rem} .de-card h4{margin:0 0 .5rem;font-size:1.05rem} .de-card h4 a{color:#2563eb;text-decoration:none} .de-card h4 a:hover{text-decoration:underline} .de-card .summary{color:#4b5563;font-size:.9rem;line-height:1.6;margin-bottom:.75rem} .de-card ul{margin:0 0 .75rem;padding-left:1.2rem;font-size:.85rem;color:#374151} .de-card ul li{margin-bottom:.3rem} .de-card .meta{display:flex;justify-content:space-between;align-items:center;font-size:.85rem;border-top:1px solid #f3f4f6;padding-top:.75rem} .de-card .stars{color:#f59e0b;letter-spacing:2px} .de-card .rec{background:#fef3c7;color:#92400e;padding:2px 8px;border-radius:999px;font-size:.75rem;font-weight:600} .de-section{margin:2.5rem 0} .de-section h2{border-left:4px solid #2563eb;padding-left:.75rem;margin-bottom:1rem} .de-ascii{background:#0f172a;color:#e2e8f0;padding:1.25rem;border-radius:8px;overflow-x:auto;font-family:"SF Mono",Consolas,monospace;font-size:.78rem;line-height:1.5;margin:1.5rem 0} .de-ascii .hl{color:#38bdf8} .de-ascii .hl2{color:#f472b6} </style> <blockquote> <p>本专题覆盖现代数据工程完整技术栈：数据采集与集成、存储架构、处理引擎、实时数仓、数据治理与平台工程。共 15 篇深度文章，助你在数据架构演进中做出正确决策。</p>https://plumephp.com/data-engineering-overview/Tue, 01 Sep 2026 10:00:00 +0800https://plumephp.com/data-engineering-overview/<p>数据工程（Data Engineering）是连接原始数据与数据驱动决策的核心桥梁。Modern Data Stack（现代数据技术栈）以 ELT 为核心范式，以云数据仓库/湖仓为存储底座，以声明式工具替代手写代码，以 DataOps 重塑数据交付流程。本文从架构演进、核心组件、代码实践与数据治理四个维度，构建一份可落地的全栈深度指南。</p>https://plumephp.com/python-data-engineering-etl/Tue, 18 Aug 2026 11:00:00 +0800https://plumephp.com/python-data-engineering-etl/<h2 id="1-etl-基础抽取转换加载">1. ETL 基础：抽取、转换、加载</h2> <p>ETL（Extract-Transform-Load）是数据工程中最经典也最核心的数据处理模式。它的本质使命是将分散在各处的原始数据，经过系统化清洗与重组后，加载到目标存储中，使其能够被数据分析、机器学习模型或者业务报表直接消费。任何数据驱动型组织的底层基础设施，几乎都离不开一套稳定、可扩展的 ETL 管道。理解每个阶段的设计原则和常见陷阱，是构建可维护数据架构的第一步。</p>