这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
2.3 Kafka Streams DSL 基础
Kafka Streams DSL 常用操作符:filter/map/flatMap 无状态转换、groupByKey + reduce/aggregate 有状态聚合、leftJoin/outerJoin 流表关联、以及分支处理与 repartition 控制。
posts
这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
Kafka Streams DSL 常用操作符:filter/map/flatMap 无状态转换、groupByKey + reduce/aggregate 有状态聚合、leftJoin/outerJoin 流表关联、以及分支处理与 repartition 控制。
Kafka Streams KStream 与 KTable 的语义对比:无界记录流 vs changelog 更新流、KTable 的物化视图机制、changelog Topic 与状态存储、KStream-to-KTable 转换与 repartition,以及 join 语义差异。
Kafka Streams Topology 核心概念:StreamsBuilder 创建 Source/Sink/Processor 节点、拓扑的可视化与验证、TopologyTestDriver 单元测试、以及 Kafka Streams 与 Kafka Consumer Group 的关系。
Flink Java 开发环境搭建:Maven BOM 与依赖引入、本地 MiniCluster 测试配置、StreamExecutionEnvironment 创建与参数设置,以及第一个可运行 WordCount DataStream 作业的完整代码与验证步骤。
流处理窗口类型深度解析:滚动窗口(Tumbling)、滑动窗口(Sliding)、会话窗口(Session)、全局窗口(Global)的分配机制、触发器 Trigger 与驱逐器 Evictor、fired-but-not-closed 语义,以及窗口在 Event Time 与 Processing Time 下的行为差异。
流处理核心范式全面解析与实战指南:批处理与流处理在延迟/容错/状态维度的本质区别与适用边界、有界流与无界流的统一视角、Dataflow 模型 Source-Transformation-Sink 拓扑、事件时间/处理时间/摄取时间三种语义差异与选择策略。
《Java 响应式编程·流处理引擎与实时计算》全 50 篇目录与学习路径指引:15 章 45 节 + 序前言目录 + 附录 A–B。三条学习路径:Kafka Streams → Flink → 实时面板、纯 Flink 深入、代码速查快速上手。
卷三所需环境与版本:Java 17(Flink 1.20 支持基线)、Kafka 3.8.1、kafka-streams-test-utils、Flink 1.20.x Java API、MiniCluster 测试配置。包含校验机器的实测版本,以及贯穿项目 eventd v3 的数据流架构(清洗→聚合→面板)与三种阅读路径。
卷三序言与全书定位:从批处理到流处理的范式转换、批处理与流处理在数据范围/处理触发/结果完整性维度的本质区别、有界流与无界流的统一抽象、Kafka Streams 轻量转换与 Flink 复杂计算的分工定位及 eventd v3 贯穿项目架构。
Spring MVC + JDBC 到 WebFlux + R2DBC 迁移检查清单:技术栈替换对应表(JPA→R2DBC/HikariCP→ConnectionPool/RestTemplate→WebClient)、阻塞陷阱与 ThreadLocal 替代方案、读→写→网关迁移优先级、渐进式双写策略与验证 checklist。
响应式弹性模式速查:重试 retryWhen 指数退避配置、熔断 CircuitBreakerOperator 参数、限流 RateLimiterOperator 令牌桶设置、降级 onErrorResume 模式、以及各模式的组合顺序与最佳实践。
Spring WebFlux 注解路由与函数式路由模板对照手册:Controller 方法签名与路径参数绑定、RouterFunctions 构建器 API、WebFilter Ordered 优先级顺序、SSE ServerSentEvent/文件上传 FilePart/全局异常处理代码片段速查。
R2DBC 与 Spring Data R2DBC 操作符速查:ConnectionFactory 创建、Statement 参数绑定与执行、Result map 与 rowsUpdated、DatabaseClient SQL 构建、以及 Repository 派生查询命名规则对照表。
Reactor Netty 常用配置速查表:HttpServer 端口绑定、LoopResources 线程池、ChannelOption 水位线与 keep-alive、HttpClient 连接池与超时、SSL 上下文、HTTP/2 开启,以及优雅关闭参数。
eventd v2 最终验收标准与交付:L1 功能验收(网关/API/数据/缓存/事件全 checklist)、L2 性能 QPS P99 基线对比、L3 运维 Docker K8s 部署、自动化测试覆盖率与代码审查、文档完整性、向卷三流处理引擎的衔接准备。
响应式系统故障排查完整手册:jstack 线程 dump 识别 EventLoop 阻塞与 boundedElastic 饱和、R2DBC Connection 与 Netty ByteBuf 连接泄漏定位、背压溢出 request(n) 诊断、io.netty.leakDetection.level=advanced 内存泄漏检测、错误日志速查表。
响应式系统上线前全面检查清单:EventLoop 线程池与 boundedElastic 配置、R2DBC/Redis/HTTP 连接池大小计算与超时层级设置、G1/ZGC JVM 参数、结构化日志级别与 Trace 采样率、密码 TLS CORS 安全核查与 Prometheus 告警基线。
响应式系统性能测试方法论完整指南:WebTestClient 并发请求压测与 QPS P99 延迟计算、JMH 微基准测试编写与火焰图热点分析、HDrHistogram 延迟分布分位数统计、连接池饱和与背压溢出诊断识别、性能回归基线对比与瓶颈定位。
Testcontainers 响应式集成测试:PostgreSQL 和 Redis 容器生命周期与动态端口映射、R2DBC JDBC 双连接动态配置、Flyway Schema 初始化与测试数据准备、容器复用与并行测试策略、CI 环境 Docker 配置。
reactor-test 的 StepVerifier 深度使用:期望链 assertNext/expectNext/expectComplete、虚拟时间调度器 VirtualTimeScheduler、背压请求量验证、错误信号断言,以及响应式操作符行为测试。