这里是全站文章的归档入口，下面是按时间倒序排列的全部文章。若想按主题浏览，请从首页的专题分类进入。
9.2 Kafka Streams 清洗管道
eventd v3 清洗管道的完整实现：基于 eventId 的去重 Transformer（KeyValueStore 状态存储）、数据格式标准化与缺失字段补齐、异常值过滤与死信队列、以及 TopologyTestDriver 单元测试。
posts
文章归档
PlumePHP 全站文章的归档入口，按时间倒序汇总各专题的技术文章，并提供按主题浏览的专题分类入口。
9.1 eventd v3 架构
eventd v3 完整架构设计：Event 领域模型与统一事件格式、Kafka Streams 清洗管道（去重/标准化/过滤）的拓扑设计、Flink DataStream 实时计算（窗口聚合/CEP/指标计算）的作业设计、Redis 缓存层与实时面板的推拉模式。
8.3 测试：MiniCluster 与测试工具
Flink 作业的确定性测试方法：StreamExecutionEnvironment.createLocalEnvironment() 的测试模式、CollectSink 收集结果、Watermark 推进测试、TestStreamEnvironment 与 TestHarness、以及基于 4.1 的 POJO Event 的端到端可运行测试示例。
8.2 反压与资源调优
Flink 反压（Backpressure）检测与资源调优：Web UI Backpressure 状态识别、反压传播机制与瓶颈定位、Network Buffer 参数调优、Slot 共享组与资源策略、以及 eventd v3 的作业并行度与内存配置。
8.1 指标与延迟分析
Flink 作业指标系统与延迟分析：内置 Metrics 类型（Counter/Gauge/ Histogram/Meter）、LatencyMarker 端到端延迟追踪、MetricsReporter 配置、Web UI 指标查看，以及 eventd v3 的自定义指标（QPS、延迟分位数、错误率）实现。
7.3 连接器：自定义 Source 与 Sink
Flink 自定义 Source 与 Sink 的实现：SourceFunction 的 run/cancel 与 checkpoint 锁、RichSourceFunction 的 offset 状态、RichSinkFunction 的 open/invoke/close 生命周期、批量写入的数据丢失窗口、幂等与两阶段提交的取舍，以及这些接口在 1.20 的废弃状态。
7.2 连接器：JDBC / Redis / Elasticsearch
Flink 侧输出连接器实践：JdbcSink 批量写入与 SQL 注入防范、用 lettuce 自建 Redis RichSinkFunction（Flink 无官方 Redis 连接器）、Elasticsearch Sink 的批量索引与退避重试，以及 RichSinkFunction 生命周期管理。
7.1 连接器：Kafka Source/Sink
Flink Kafka 连接器深度配置：KafkaSource 与 KafkaSink 的依赖版本匹配、topic/partition 订阅、offset 初始化策略 earliest/latest/committed、反序列化 schema 自定义、exactly-once 两阶段提交语义，以及 offset 提交与分区分配的真实行为。
6.3 Flink Table API 与 SQL（概述）
Flink Table API 与 SQL 高层接口概览：StreamTableEnvironment 创建、Table 与 DataStream 双向转换、SQL 查询窗口聚合、Table API 与 DataStream API 的混合使用场景，以及本卷聚焦 DataStream 的声明。
6.2 Flink CEP：复杂事件处理
Flink CEP 高级模式：times/oneOrMore/greedy 量词、optional 可选模式、notNext/notFollowedBy 否定模式、迭代模式与循环条件、侧输出流处理匹配失败、以及 CEP 性能调优与状态清理策略。
6.1 Flink CEP：模式匹配入门
Flink CEP 复杂事件处理入门：Pattern 定义与 begin/next/followedBy 三种跟随模式、where 条件过滤、within 时间窗口约束、PatternSelectFunction 结果提取，以及简单的异常检测模式示例。
5.3 Flink Checkpoint 与故障恢复
Flink Checkpoint 机制完整解析：Barrier 对齐与非对齐快照、CheckpointConfig 配置参数、Checkpoint 超时与并发控制、增量 Checkpoint 与外部化检查点、Savepoint 与作业升级、以及从 Checkpoint 恢复的完整流程。
5.2 Flink 状态管理：OperatorState
Flink OperatorState 机制：ListState 与 BroadcastState 的差异、CheckpointedFunction 接口实现、状态在并行度变化时的重新分配（resscale/union）、BroadcastStream 广播配置流模式，以及与 KeyedState 的联合使用场景。
5.1 Flink 状态管理：KeyedState
Flink KeyedState 深度解析：ValueState/ListState/MapState/ReducingState/AggregatingState 的声明与使用、StateTtlConfig 过期配置、状态在 KeyedProcessFunction 中的访问、以及状态大小监控与 RocksDB 调优。
4.3 Flink 窗口：滚动、滑动、会话、全局
Flink 窗口类型深度解析：TumblingEventTimeWindows 滚动窗口、SlidingEventTimeWindows 滑动窗口、EventTimeSessionWindows 会话窗口、GlobalWindows 自定义触发器、WindowAssigner/Trigger/Evictor 的联合工作机制，以及增量聚合与全量聚合的选择。
4.2 Flink 时间语义与 Watermark
Flink 时间语义深度解析：EventTime 分配 TimestampAssigner、Watermark 生成策略 forBoundedOutOfOrderness/forMonotonousTimestamps、Watermark 传播与空闲检测 idle timeout、AllowedLateness 与 SideOutput 处理迟到数据。
4.1 DataStream API：Source/Transformation/Sink
Flink DataStream API 核心编程模型：StreamExecutionEnvironment 创建与配置 addSource/addSink、DataStream 转换操作符 map/filter/keyBy/window、类型系统与 TypeInformation、以及并行度设置与 Slot 分配原理。
3.3 Kafka Streams 与 Reactive Streams 衔接
Kafka Streams 与 Reactor 响应式流的衔接模式：Processor API 中集成 Reactor Mono/Flux、Reactive Kafka 生产者适配、背压在 Kafka Streams→Flink 链路中的传递、以及 eventd v2 事件写入 Kafka 的生产者实现。
3.2 Kafka Streams Exactly-Once
Kafka Streams Exactly-Once 语义完整实现：EOS 配置 enable.idempotence 与 transactional.id、生产者事务与消费者隔离级别设置、两阶段提交流程详解、以及 EOS 的性能开销与适用场景限制。
3.1 状态存储与交互查询
Kafka Streams 状态存储深度解析：KeyValueStore 创建与配置、RocksDB 与内存状态后端对比、交互查询（Interactive Queries）的 QueryableStoreTypes、状态变更日志 changelog Topic 的恢复机制，以及状态大小监控与清理策略。