tag

AI 架构

共 180 篇文章。
全部文章书稿GoJavaTypeScript互联网产品游戏开发独立开发者小游戏游戏服务端架构设计游戏设计Godot性能优化Rust
books

《互联网产品的 AI 架构·模型接入与能力边界》13.1 能力清单与契约矩阵

「回声」的五个 AI 能力散落在五份文档里,评审时才发现摘要没有降级路径、审核却声明了模板兜底。本节把能力契约收敛成一张六面矩阵:输入、输出、质量、延迟、成本与失败姿态逐项填值,区分契约字段与租户配置,按风险分数排序,并给出可运行的 TypeScript 矩阵视图与缺失面门禁。

10 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》12.1 一次 AI 请求的最小观测字段

从「回声」一次查不到模型的线上投诉出发,说明一次 AI 请求必须记录哪些字段、耗时如何拆段、用量与错误类别如何统一,以及内容脱敏与分层采样如何让观测既够用又不越界;文中给出可逐条断言的 TypeScript 字段契约、脱敏规则、采样分桶与真实测试输出,帮助团队把一次请求追到模型、租户与错误类别。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》11.3 输出审查与内容安全接入

一次输出拦截没有申诉入口,让「回声」的内容安全接入暴露出规则与流程的双重缺口。本篇给出规则加分类器的双层审查、拦截与降级、只存哈希的审计记录与带时限的申诉状态机,用可运行的 TypeScript 测试固定决策顺序、降级行为与已知边界,并说明申诉推翻后为什么不能自动放行原文。

8 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》11.2 提示注入与输入信任边界

用户在评论里写下「忽略前面的指令」,检索文档里又藏着角色伪造。「回声」的这次事故说明,提示注入不是句子黑名单问题,而是信任边界问题。本篇把系统指令、用户内容、检索内容与工具输出分成四层,给出可断言的信号评分、隔离策略和工具参数二次校验,并说明为什么正则只能是信号而不能是唯一防线。

8 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》11.1 密钥、租户与数据出域

从「回声」把合作方租户私信送进主站模型的事故出发,拆解密钥分级与轮换、租户隔离、出域字段白名单和区域路由四道边界,给出可运行的 TypeScript 实现与 11 条测试,说明每次放行为什么都要留下可追溯的决策记录,再复盘一次跨租户调用为什么会同时穿过四道默认值。

8 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》10.3 降级演练与用户可见性

「回声」的一次故障开关开了三周,没人敢关,所有用户都在看模板摘要。本节用确定性故障注入、带过期时间的开关和恢复断言,把降级策略变成可以反复演练的代码,并复盘一次只检查动作、忽略用户文案的演练失败,说明恢复结果为什么必须写进演练报告,而不是留成一句口头承诺。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》10.2 降级策略:小模型、规则、模板、排队

「回声」的主模型超时后自动切到小模型,摘要却变成了复读用户问题。本节把降级看成一条有预算、有质量下限、有风暴保护的链:小模型、规则、模板、排队各自分工,选择顺序由产品写死,并讨论预算、代价与降级风暴的规避,最后用可运行的 TypeScript 实现选链与逐步执行。

10 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》10.1 模型不可用时产品该做什么

「回声」的智能回复超时后,前端自动重试三次,把一次故障拖成半小时;同一时刻审核调用也超时,发布按钮却仍然可点。本节把 AI 能力按可缺、可弱、必须阻塞分级,明确每种信号下的动作与用户文案,并用可运行的 TypeScript 把策略校验和批量编排固定下来。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》9.1 精确缓存、语义缓存与结果复用

「回声」的搜索摘要缓存只按查询文本建键,两个租户问同一句退款政策时互相串了结果。本节把精确缓存、语义缓存与结果复用拆成三层,讲清作用域键的五个要素、字符二元组相似度与 0.72 阈值、订单号与动作词两道护栏,并给出可运行的 TypeScript 实现与测试。

11 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》8.2 Token 成本模型与配额

「回声」商家版租户被自己的预留限流三天:拦截分支没有结算,也未释放额度,真实花费不到配额三分之一。本节用整数微元、租户/能力/模型三维计量、预留与结算、失败也记账和 TTL 回收,搭一个可测试的成本账本,并复盘这次泄漏从发生到被发现的每一步。

8 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》8.1 端到端延迟预算怎么拆

「回声」智能回复承诺 2 秒,团队却把 2000 毫秒直接当成提供方超时,结果网络、排队与后处理叠加后稳定超时。本节把端到端预算拆成网络、排队、首 token、生成与后处理五段,给出整数毫秒分配、超时传播与审计代码,用 Node 测试逐毫秒验证,并复盘一次余量被当成预算的事故。

10 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》7.3 解析失败的重试、修复与降级

从「回声」客服辅助一次修复仍然失败的工单 JSON 出发,说明解析失败为什么要先分类再决定是否修复,修复提示如何把 Schema、失败明细和原始输出隔离,修复预算为什么同时限制次数、时间盒与提示长度,并给出失败后转人工队列或模板降级的可测试实现。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》7.2 工具调用:谁执行、谁授权

从「回声」模型试图自带 tenantId 查询别家订单、以及直接提议退款两个场景出发,拆开工具调用中“谁提议、谁授权、谁执行”三段职责,给出工具白名单、角色、租户注入、参数校验、副作用分级与单轮次数上限的可测试实现,并说明确认为什么必须绑定到具体调用 id。

9 分钟阅读
书稿 互联网产品 AI 架构
books

《互联网产品的 AI 架构·模型接入与能力边界》7.1 结构化输出的契约与校验

从「回声」客服辅助返回的工单建议 JSON 出发,说明为什么只取 JSON Schema 的一个可审查子集,如何把必填、枚举、范围与多余字段变成可定位的问题码,并给出一个零依赖校验器与一次真实的失败分类,让解析失败从“模型不稳定”变成可测量、可回归的工程输入。

8 分钟阅读
书稿 互联网产品 AI 架构