这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
Dagster 与 Prefect 数据编排
本文对比 Dagster 与 Prefect 两代数据编排框架与 Airflow 的差异,回答资产为中心与任务为中心该怎么选、IO Manager 与资源如何组织、分区与回填怎么落地。覆盖软件定义资产、类型系统与数据契约、资源与 IO Manager、分区回填、Prefect 的 Flow 与 Deployment、Work Pool、重试缓存与抖动、动态工作流与异步,并给出从 Airflow 迁移的路径。