这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
《互联网产品的 AI 架构·推理性能与成本工程》附录 C 推理成本优化评审清单
把卷二的判断压缩成一份可打印的成本优化评审清单:度量口径、基线、调度、上下文、输出、缓存、替代、离线、容量、归因、实验、联合门禁与稳定性共十三组六十五问,每组附通过判据与常见驳回理由,末页给出四十五分钟评审流程、结论模板、上线后复盘表与三个常见误区。
posts
这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
把卷二的判断压缩成一份可打印的成本优化评审清单:度量口径、基线、调度、上下文、输出、缓存、替代、离线、容量、归因、实验、联合门禁与稳定性共十三组六十五问,每组附通过判据与常见驳回理由,末页给出四十五分钟评审流程、结论模板、上线后复盘表与三个常见误区。
把卷二用到的算式集中成可直接代入的速查:token 成本、重试放大、缓存净收益、批处理盈亏平衡、级联阈值、容量换算、配额映射、归因分解与量化收益估算;每个公式给出变量含义、代入示例、适用边界与对应章节,并附常见误用、口径提醒与一张十分钟估算表。
把卷二反复使用的指标压缩成一页可查的定义表:TTFT、TPOT、端到端延迟、吞吐、goodput、并发、缓存命中率、重试率、降级率、单次成本、单位 token 成本与归因维度;每个指标给出定义、算式、分母、常见误读与对应章节,并附一张团队口径对齐模板。
四组对照跑在同一批固定样本上:提示压缩省 19.72% 成本却丢掉 13.33% 的事实探针;结果缓存省 52.99% 现金成本但误命中 7 次;小模型省 75% 成本而质量降 3.59%;批处理省 8.60% 却把单条延迟推到 58 分钟。
三项优化一起上线,账单降了三成,却无法回答每一项贡献多少。本节把基线、可判定假设、单变量对照、样本量与统计窗口写成可执行的设计门禁,用 63 条样本量的推导说明何时该说样本不够,并演示辛普森悖论:每个分段都更便宜,整体反而更贵。附 6 项设计门禁测试。
财务发来的模型账单比内部账多 43,200 微元,团队却只回了一句“口径不同”。本节把差异拆成时间、舍入、价格版本、缓存口径、范围与未知六类,给出从规范化、匹配、分类到责任人闭环的对账流程,以及可直接贴进月报的差异解释模板,并用示例样本上的真实运行结果演示 42,200 微元如何被解释、1,000 微元如何进入待查。
模型账单涨了 37%,按模型拆却发现每个模型都只涨了一点。本节先把成本格做成可精确相加的全外连接,再说明为什么租户、能力、模型、提示版本与路由五个视角不能相加,最后用示例样本上的量、结构、单价三因子分解,把差异落到提示改版与升级路由这两个可行动维度。
「回声」的模型账单比 token 单价乘出来的数字高三成,团队却只盯着单价。本节把重试、缓存未命中、失败请求、空闲容量与跨区传输拆成可核对的实际成本与计划偏差,给出整数微元的成本模型、每千次成功请求口径,并用示例样本上的真实测试输出说明隐藏成本藏在哪里。
大客户买了每天 20 亿 token 的配额,却在峰值把共享池挤满;另一个客户的预算只够撑 23 天,配额却看起来绰绰有余。本节把 token 配额、预算配额与并发配额分开,给出配额到峰值并发、预算到可购买 token 的两条换算链,并说明保底额度、共享池与超配比例怎样决定一个池子是否可行。
平均利用率只有四成,周一上午却仍然超时。本节把峰值拆成观测峰值、持续峰值与计划峰值,说明余量比例该覆盖哪些误差,并用确定性模型计算冷启动期间的容量缺口、积压与排空时间;示例样本显示 90 秒冷启动会留下 450 个请求的积压,需要 180 秒才能排空。
「回声」要为一季度做容量预算,营销只给日活与人均请求,财务只问 token 总量和峰值。本节把业务量拆成请求数、长度分布、重试系数与峰值系数,给出可代入的算式、缓存对配额与成本的不同影响,以及从峰值 RPS 到并发的 Little 定律实现;所有数字都标注为公式代入值或示例样本运行结果。
12 万条作业在 06:00 没有关上窗口,团队却把半成品当成完整结果发布。本节用 12,000 条确定性到达样本比较批大小与等待窗口、限流与并发两个产能上限、单位成本随批大小的下降曲线,并给出错过窗口时的降级顺序、产能判据与可运行的成本模型。
12 万条质检作业在 63% 处崩溃,重跑后多付了 2,702,700 微元,还给客户重复发了邮件。本节说明分片键为何必须绑定业务条目而不是数组下标、重试预算为何要放在作业级共享池、幂等键与去重窗口如何覆盖崩溃重跑,以及部分失败时如何隔离毒条目而不是整批作废。
「回声」把 12 万条会话质检塞进在线网关,结果抢走配额、重复计费、单条超时。本节用消费方式、时效、失败单位与容量四个判据划出在线与离线的边界,给出 242 条的盈亏平衡点、混合切分方法与可运行的 TypeScript 判定器,并说明离线为何不是低优先级在线。
40 条样本上,按 0.7375 盈亏平衡点级联总成本 7670 微元,比常驻大模型省 730,代价是准确率从 100% 降到 97.5%。本节推导阈值公式、量化误判成本,并给出三策略对比与阈值扫描方法,说明级联并非无条件更省,质量下限也会改变结论。
按网络协议、并发调度、分布式系统、数据库存储、可观测性、游戏服务端实践与安全分类整理参考资料,说明每项的作者或维护方、适合谁读与读到什么程度,并给出官方文档入口、社区会议检索关键词、阅读路线、资料过期治理以及把资料整理成可检索笔记的方法,避免收藏不读和二手总结。
讲清单仓多服务与多仓的取舍、Go 服务内部 cmd/internal/pkg/api/migrations/deploy 的分层职责与依赖方向,给出可直接对照的完整目录树、配置密钥迁移脚本文档的位置约定、测试与 testdata 组织方式,以及 util 大杂烩、internal 互相引用和业务逻辑塞进 cmd 等反模式。
把游戏服务端性能调优拆成连接网关、协议序列化、并发调度、内存 GC、数据库缓存、消息队列、日志监控与发布容量八层,每层给出检查项、判定方法、经验阈值区间与不通过后果,并附压测前后对照表、上线前 30 分钟检查清单和失败场景分析,帮助团队把性能工作变成可复核的流程。
按语言梳理 Go、Java、C++、Node/TypeScript 与 Rust 的常用游戏服务端框架和工具,说明定位、适用与不适用场景、许可证类型和维护活跃度判断方法,并提供按场景选型对照表、打分模板与失败案例分析,帮助团队把选型从看热度变成可复核的工程决策。
梳理 AI 在 NPC 行为、内容生成、配置生成、测试用例生成和客服辅助中的落点,给出结构、范围、引用与人工抽检的分层校验流程,结合幻觉数值直接上线的事故,说明模型输出为何不能作为可信输入,并实现可测试的 Go 配置校验器,讨论对局回放与确定性结算的边界。