《MMO 服务器开发》8.3 广播与扇出
把同一条消息发给一万个玩家,成本到底花在哪?本节给 aegis 写一个扇出器:证明「编一次发 N 次」比「编 N 次」快得多,用批量写把 K 次系统调用压成一次,并说清广播时锁该锁多细,最后给出本机实测的两组基准对比数字,解释为什么只能报相对量级。
tag
把同一条消息发给一万个玩家,成本到底花在哪?本节给 aegis 写一个扇出器:证明「编一次发 N 次」比「编 N 次」快得多,用批量写把 K 次系统调用压成一次,并说清广播时锁该锁多细,最后给出本机实测的两组基准对比数字,解释为什么只能报相对量级。
TCP 只保证字节有序,不保证你的业务命令有序。本节给每条连接加一个 32 位单调序号,用 TCP 同款的滑窗位图做去重,再写一个乱序缓冲把先到的高序号暂存到缺口补齐,并说清顺序保证的三条边界,最后量化每帧去重的成本——本机实测约 7 纳秒、零分配。
一条帧到达服务端之后要去哪里?本节给 aegis 写一张真正的路由表:用命令号把请求、推送与通知分派到各自的 handler,定义可测试的 handler 上下文,让未知命令和 handler 报错都退化成错误通知而不是 panic,最后用一组 L1 测试真跑验证请求-响应与推送两条路径。
网关是玩家看到的第一层,也是最容易被塞进玩法逻辑的一层:一旦它开始解析 payload、缓存血量、计算伤害,就再也拆不掉了。本节给 aegis 写一个只做四件事的 Gateway——准入、鉴权前置、限流、按命令号路由——并用一个「路由函数拿不到 payload」的签名,把边界从纪律变成机械约束。
同账号第二次登录,该不该踢掉旧连接?踢了之后,旧连接迟到的断开事件又会不会把新会话一起删掉?本节给 aegis 写 Registrar,把「先摘旧、后关旧、再通知」的顺序钉死,用 go test -race 复现那个最经典的顶号竞态,并讲清「踢人」与「迁移」两种语义的区别。
一个账号、一条连接、一份会话,三者一旦不同步就会出顶号误删、幽灵在线这类经典事故。本节给 aegis 写一张连接与账号的双向索引表:单锁版本、64 分片版本,以及顶号时「先摘旧、后关旧」的原子替换顺序,全部用 go test -race 真跑验证,并给出本机并发的实测数字。
滚动更新最容易丢请求的三个时间差:SIGTERM 与 endpoint 摘除不同步、排空期太短、SIGKILL 提前到场。本节用 preStop 钩子与 terminationGracePeriodSeconds 补齐时间预算,实测在途请求在收到 SIGTERM 后仍完整跑完并返回 200。
把 TaskHub 的配置与镜像解耦:用 ConfigMap 注入非敏感配置、用 Secret 管密钥(并说清 base64 不等于加密),用 HPA 让副本数跟着 CPU 与自定义指标自动伸缩;实测环境变量与文件挂载两种注入方式都能被进程读到。
把 TaskHub 的镜像部署进 Kubernetes:用 Deployment 管副本、Service 做稳定入口、Ingress 接外部流量,并逐个字段解释三类探针的语义与取舍,实测探针端点在正常与排空两种状态下分别返回 200 与 503。
玩家掉线后必须能秒回游戏,但又不能凭一个账号名就免密登入。本节给 aegis 设计一张重连票据:用 HMAC-SHA256 签发、绑定账号与连接序号、带过期时间、且只能使用一次。我们用标准库把它从零写出来,并用测试逐一证明正常校验、签名被篡改、过期、以及同一票据二次使用这四种路径的行为。
长连接最大的敌人不是掉线,而是你以为它还活着。本节给 aegis 写一个真实的 WebSocket 服务端:一条读超时、一个看门狗、一路可选的服务端 ping,然后用真起端口、真连的 L2 测试验证「不发心跳的客户端会被主动关闭并清理会话」,最后报告本机实测的超时精度与 1000 个空连接的心跳开销。
浏览器与小程序只能发起 HTTP 请求,MMO 网关的长连接入口因此多半是 WebSocket。本节不引任何第三方库,用标准库手写 RFC 6455 里网关真正需要的一小块:从 Sec-WebSocket-Key 拼 GUID、SHA-1、Base64 回 101,到帧头的 FIN、opcode、MASK 与 126/127 扩展长度,再到客户端必须掩码的逐字节 XOR 与分片重组。
本节用一个固定种子的确定性弱网模拟器,把 5.2 的 KCP 放在 0%/1%/5%/20% 四档丢包下实测:记录每条消息的端到端延迟 P50/P99 与冗余发送率,并与 5.1 的单流 TCP 式基线正面对比。同一丢包率下,KCP 靠快速重传把 P99 明显压低,代价是 20% 丢包时约 1.5 倍的冗余发包。
本节从零实现一个教学版 KCP:24 字节报文头、PUSH/ACK/WASK 三种命令、基于 SRTT 与 RTTVAR 的 Jacobson RTO 估计、una 累积确认的滑动窗口、以及靠重复 ACK 触发的快速重传。接口只有 Send/Recv/Input/Update 四个,五个测试覆盖正常收发、丢包重传、乱序重组、重复去重与 RTO 收敛。
TCP 在实时对战里有三个硬伤:队头阻塞让一个丢包卡住后面所有消息,重传策略不区分消息重要性,拥塞控制在弱网下退让过猛。本节写一个确定性模拟器,在同一丢包率与 RTT 下对比单条有序流与多条独立通道的延迟分布,把队头阻塞的代价变成可以复现的数字。
同一条移动通知,用 JSON、手写扁平化协议与手写 varint 二进制分别编解码,本机跑出 ns/op、B/op 与 allocs/op。JSON 编解码要几百纳秒和几次堆分配,手写二进制只要十几到二十几纳秒、零到一次分配。本节给出真实数字表格与选型判据,并说明 MessagePack 与 Protobuf 为什么不在本节实测。
编解码一半时间花在拷贝上。本节对照 Go 与 Java 两种零拷贝:Go 侧用切片视图在同一底层数组上切出 payload,改一个字节即可证明不复制;Java 侧用 JDK 自带 ByteBuffer 的 slice/duplicate/asReadOnlyBuffer,并在 Temurin 21 容器里真跑。最后给出切片够用与必须池化的判定。
二进制编解码是 MMO 服务端最底层的性能开关。本节从零写一个 internal/codec 包:Writer 按协议顺序压入 uint8/16/32/64、varint、字符串与字节块,Reader 逐字段读取并对每次越界返回错误而不是 panic;再用它编解码真实的 MoveNotify 结构体,test 覆盖往返一致、varint 边界与越界读取。
service 抛出的领域错误怎么变成正确的 HTTP 状态码?本节把错误映射收敛到一处:定义领域错误集、用 errors.Is/As 分支把 ErrNotFound 映射成 404、把校验错误映射成 422,并给出统一的 JSON 错误响应结构。同时实现带字段的输入校验,让客户端知道到底是哪个字段不合法,最后强调不要把内部错误细节泄露给外部。
配置有了,谁来把它组装成运行中的对象?本节讲 TaskAPI 的分层:handler 只做协议转换、service 承载业务规则、store 负责持久化,三者用接口解耦。然后演示 Go 惯用的手工依赖注入——在 main 这个 composition root 里把所有依赖 new 出来、逐层注入,不引入任何 DI 框架,并用 fake store 证明层与层之间可替换。