《AI Agent 产品开发·组织、平台与规模化》8.3 aia-lab:人机总成本对比

本节用 aia-lab 实现人机总成本对比:把人工、系统、维护四条线放进同一个入口,对 A Relay、B Quill、C Runner 输出月成本、节省额与节省率。重点演示 C 的「漏算转人工」错误版本:只算 0.96 分钟审计、不算 3.08 分钟转人工,节省率会从 73.7% 被夸大成 90.8%。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

前两节讲了成本结构与计费单位,这一节把它们落成代码。lab 要回答三个问题:三家的人机总成本各是多少、节省率怎么算、如果把转人工漏掉会差多少。三个问题共用一套成本模型,避免每个案例各算一套。

先给结论:人机总成本对比的难点不在加法,在口径。人工要含转人工,系统只算模型与基础设施,维护单独摊销;三条线任何一条错位,节省率就会失真。C 的 73.7% 与 90.8% 就是同一个模型下两种口径的结果。

成本模型:四条线,一个入口

compare 是唯一入口,输出七个数:纯人工、Agent 后人工、系统、维护、总成本、节省额、节省率。所有数字都由月任务量、分钟数和单价推出,不在代码里手写总额。

字段口径来源
纯人工月任务量 × 人工基线分钟 × 30 美元/小时事实表 2.2 / 3.2 / 4.2
Agent 后人工月任务量 × 介入后人工分钟 × 30 美元/小时事实表 2.3 / 3.3 / 4.3,C 含转人工
系统月任务量 ×(模型 + 基础设施)事实表 2.5 / 3.5 / 4.5
维护月度摊销事实表 2.5 / 3.5 / 4.5

这四条线里,最容易错的是第二条。A 的介入后人工是 0.75 分钟,B 是 96 分钟(1.6 小时),C 是 4.04 分钟。C 的 4.04 不是一个拍出来的数,它由 0.96 分钟审计摊销加 3.08 分钟转人工摊销组成;两项都来自事实表,缺一项就不完整。

模型耗时不在任何一条线里。A 的机器耗时 0.30 分钟、B 的 11 分钟、C 的 2.4 分钟,只用于描述人机总耗时(1.05、107、6.44 分钟),不进入人工成本。

三家对照表

案例纯人工人工(后)系统维护总成本节省额节省率
A Relay46,2009,900448.81,20011,548.834,651.275.0%
B Quill76,35629,088193.922,40031,681.9244,674.0858.5%
C Runner118,80026,664950.43,60031,214.487,585.673.7%

这张表和 8.1 节的结构表是同一组数,只是多了节省额与节省率。A 的节省率最高,因为它的纯人工基线 46,200 美元被压到 9,900 美元;B 的节省率最低,因为报告审改的 1.6 小时压不下去;C 的节省额最大,因为它的纯人工基线 118,800 美元最大。

三家不能直接比节省率。A 的 75.0% 和 B 的 58.5% 是不同任务、不同量级、不同自主档的结果;把它们平均没有意义。真要比较,应该比同一任务在人工与 Agent 两种方式下的单位成本,而不是比三个不同任务的节省率。

漏算转人工的两个版本

C 的错误版本只把 0.96 分钟审计算进人工,不把 22% 转人工的 3.08 分钟算进去。两个版本的其他三条线完全相同:

版本人工(后)系统维护总成本节省额节省率
正确:含转人工26,664950.43,60031,214.487,585.673.7%
错误:只算审计6,336950.43,60010,886.4107,913.690.8%

差 17.1 个百分点。这个差不是小数点点错,而是口径漏了一整块人工:13,200 个任务里 22% 转人工,每个 14 分钟,合计 3.08 分钟一个任务,换成月人工是 20,328 美元。漏掉它,C 的月总成本从 31,214.4 美元掉到 10,886.4 美元。

compareWithoutTransfer 故意把人工分钟覆盖成 0.96,用来复现错误版本。它不是「另一种合理口径」,而是一面镜子:任何只报审计、不报转人工的成本表,都应该用这个函数照一遍。

为什么 90.8% 是一个危险的数字

90.8% 的危险不在于它算错,而在于它看起来太合理。C 的自动完成率是 78%,审计发现错误率只有 1.7%,错误中 86% 可回滚;所有这些数字都在支持「几乎不用人」。只算审计,正好把这个印象做成一个漂亮的节省率。

但 C 的产品设计里,22% 转人工不是失败,而是责任分配的一部分。执行档的机器承担动作,人承担例外与审计;转人工的 14 分钟是产品正常运转的成本,不是异常。把它从成本表里拿掉,等于把产品的一部分责任也拿掉了。

更危险的是激励。如果团队按 90.8% 汇报,下一步的优化目标会变成「再降审计比例」,而不是「降低转人工的 14 分钟」或「减少不可回滚错误」。数字会反过来塑造产品:你度量什么,团队就优化什么。

压缩率不是节省率

三个案例还有一组容易混的数:人工压缩率 78.6%、61.9%、77.6%。它衡量的是「人工时间减少了多少」,分母是人工基线;节省率衡量的是「总成本减少了多少」,分子里还要加系统与维护。

A 的压缩率 78.6%,节省率 75.0%;B 的压缩率 61.9%,节省率 58.5%;C 的压缩率 77.6%,节省率 73.7%。两组数都合法,但回答的问题不同。汇报时把压缩率写成节省率,会高估 3 到 4 个百分点;在高管面前,这个差足够引发一次不信任。

把 lab 当成评审工具

lab 不只是算一遍数字,它可以作为评审时的对照工具。任何人提出一个新的节省率,都可以用同一套函数复算,看看口径差在哪里。

评审问题用哪个函数回答期望结果
人工口径是否含转人工compare 与 compareWithoutTransfer 对照C 相差 17.1 个百分点
系统成本是否混入维护systemCents 与 maintenanceCents 分开三条线不合并
节省额是否可复算节省额等于纯人工减总成本逐项对得上
人机总耗时是否被算进成本elapsedMinutes 只读不参与不影响总成本

评审时最容易出现的争论是「这个数怎么来的」。把函数名写在幻灯片上,比写「根据测算」有用:对方可以拿自己的输入复算,也可以指出哪条线被漏掉。

lab 的另一个用途是防止案例漂移。三个案例的数字只从 cases.ts 来,任何章节要引用都调用同一组函数;如果有人在新章节里手写了一个 90.8%,评审可以立刻用 compareWithoutTransfer 复现它,并指出它漏了哪一项。

三种常见口径错误

把三个案例放进同一套函数后,口径错误会变得很具体。下面三种最常出现:

错误表现用 lab 怎么发现
人工只算审计C 的人工从 26,664 掉到 6,336compareWithoutTransfer 与 compare 并排
维护并进系统系统成本从 950.4 变成 4,550.4systemCents 不读 maintenanceCents
机器耗时算进人工C 的人工从 4.04 变成 6.44laborCents 只接受人花的时间

第一种是本章重点,第二种常见于「把所有非人工支出叫技术成本」的报表,第三种常见于把「人机总耗时」直接乘时薪的算法。三种错误都会让节省率变好看,也都经不起一次复算。

复算时不需要相信任何结论,只需要看输入:月任务量、人工分钟、系统单价、维护摊销。四项输入对了,输出自然对;输入错一项,节省率就会偏离。lab 的价值不是给出一个标准答案,而是让每个数字都能被追问到来源。

这也解释了为什么本书坚持三案例只从一张事实表取数。数字一旦分散在章节里,复算就会变成考古;放在 cases.ts 里,任何人都能用同一组输入跑出同一组输出。

如果换一个任务,不要换一套算法

lab 的结构是「Profile 输入,函数输出」。如果业务换了一个新任务,正确做法是新增一个 Profile,而不是新写一套成本函数。Profile 里只放月任务量、人工分钟、模型与基础设施单价、维护摊销;计算逻辑保持不变。

这样做有两个好处。第一,口径不会因为任务不同而漂移;第二,任何两个任务都可以用同一组函数比较单位成本与节省率。反过来,如果每个任务各写一套算法,评审时先要统一口径,讨论成本反而变成了讨论代码。

三个案例已经覆盖建议、草稿、执行三档,足够验证模型。不要为了「更全面」新增第四家案例:事实表之外的数字没有出处,混进来会让整张对照表失去可复算性。

把对比写成可复算的代码

下面的 lab 把四条线、节省率与「漏算转人工」的对照版本放在同一个文件里。compare 是正确口径,compareWithoutTransfer 是错误口径,overstatedBps 直接给出两者相差多少基点。

// file: src/econ/08-3-lab-econ.ts
// tier: L2
// verify: node --test test/econ/08-3-lab-econ.test.ts

// 人机总成本对比:人工、系统、维护三条线分开加总。
// 最重要的边界:转人工是人工,不是异常。

import { HOUR_CENTS, QUILL, RELAY, RUNNER, type Profile } from "../cases.ts";
import type { Cents } from "../core/money.ts";
import { divide, formatBps, type Bps } from "../core/rate.ts";

export type Comparison = {
  readonly key: "A" | "B" | "C";
  /** 纯人工月成本 */
  readonly manualCents: Cents;
  /** Agent 介入后的人工月成本(含转人工) */
  readonly humanCents: Cents;
  /** 模型调用 + 基础设施 */
  readonly systemCents: Cents;
  /** 维护摊销 */
  readonly maintenanceCents: Cents;
  readonly totalCents: Cents;
  readonly savingsCents: Cents;
  readonly savingsBps: Bps;
};

export function laborCents(profile: Profile, minutesPerTask: number): Cents {
  return Math.round(
    (profile.monthlyTasks * minutesPerTask * HOUR_CENTS) / 60,
  );
}

export function systemCents(profile: Profile): Cents {
  return Math.round(
    profile.monthlyTasks * (profile.modelCents + profile.infraCents),
  );
}

// compare 是唯一入口:所有成本线在这里一次算清,避免各章各算一套。
export function compare(profile: Profile): Comparison {
  return compareWithHumanMinutes(profile, profile.humanMinutes);
}

// 允许覆盖人工分钟数,用来演示「漏算转人工」这个错误版本。
export function compareWithHumanMinutes(
  profile: Profile,
  humanMinutes: number,
): Comparison {
  const manualCents = laborCents(profile, profile.manualMinutes);
  const humanCents = laborCents(profile, humanMinutes);
  const system = systemCents(profile);
  const maintenanceCents = profile.maintenanceCents;
  const totalCents = humanCents + system + maintenanceCents;
  const savingsCents = manualCents - totalCents;
  return {
    key: profile.key,
    manualCents,
    humanCents,
    systemCents: system,
    maintenanceCents,
    totalCents,
    savingsCents,
    savingsBps: divide(savingsCents, manualCents),
  };
}

// C 的审计摊销与转人工摊销,拆开是为了让漏算一眼可见。
export const C_AUDIT_MINUTES = 0.96;
export const C_TRANSFER_MINUTES = 3.08;
export const C_HUMAN_MINUTES = C_AUDIT_MINUTES + C_TRANSFER_MINUTES;

// 错误版本:只算审计,不算转人工。
export function compareWithoutTransfer(profile: Profile): Comparison {
  return compareWithHumanMinutes(profile, C_AUDIT_MINUTES);
}

// 两个版本相差多少个百分点,用基点表示。
export function overstatedBps(correct: Comparison, wrong: Comparison): Bps {
  return wrong.savingsBps - correct.savingsBps;
}

// 人机总耗时只用于描述任务节奏,不进入成本。
export function elapsedMinutes(profile: Profile): number {
  return Math.round((profile.humanMinutes + profile.machineMinutes) * 100) / 100;
}

export function savingsLabel(comparison: Comparison): string {
  return formatBps(comparison.savingsBps);
}

export function allComparisons(): readonly Comparison[] {
  return [compare(RELAY), compare(QUILL), compare(RUNNER)];
}

export function caseComparison(key: "A" | "B" | "C"): Comparison {
  if (key === "A") return compare(RELAY);
  if (key === "B") return compare(QUILL);
  return compare(RUNNER);
}

laborCents 与 systemCents 都按任务量推算,compare 调用 compareWithHumanMinutes 并传入事实表里的介入后人工分钟。C_AUDIT_MINUTES 是 0.96,C_TRANSFER_MINUTES 是 3.08,两者相加是 4.04;这三个常量放在一起,是为了让「漏算」一眼可见。

compareWithoutTransfer 只改人工分钟,不动系统与维护,所以两个版本的差额完全来自人工。overstatedBps 返回 1,711 个基点,也就是 17.1 个百分点;formatBps 把它显示成 17.1%。elapsedMinutes 单独计算人机总耗时,并明确不进入成本。

小结

  • 人机总成本对比的难点在口径,不在加法;四条线要分开记。
  • C 的介入后人工是 4.04 分钟,由 0.96 分钟审计与 3.08 分钟转人工组成。
  • 三家的月总成本分别是 11,548.8、31,681.92、31,214.4 美元,节省率 75.0%、58.5%、73.7%。
  • 漏算转人工会把 C 的总成本算成 10,886.4 美元,节省率夸大成 90.8%。
  • 两个版本相差 17.1 个百分点,来自 20,328 美元的月人工。
  • 压缩率不是节省率;A/B/C 的压缩率是 78.6%、61.9%、77.6%,比节省率高 3 到 4 个百分点。
  • 成本模型要只有一个入口,否则每个案例都会长出一套自己的算法。

阅读导航:上一节:8.2 价值单位与计费点的产品决策 · 下一节:9.1 哪一层会商品化 。

常见错误与边界

  1. 把转人工记成异常。 C 的 3.08 分钟是 22% 任务的正常成本,不是偶发故障。
  2. 把模型耗时算进人工。 人机总耗时用于描述节奏,人工成本只算人真正花的时间。
  3. 只报节省额不报口径。 节省额必须说明是否含转人工、系统与维护,否则数字无法复核。
  4. 用节省率横向比较不同任务。 三家任务量级与自主档不同,节省率不能简单平均。
  5. 把压缩率当节省率。 压缩率只算人工时间,节省率还要加系统与维护;两者差 3 到 4 个百分点。
  6. 为每个案例各写一套算法。 多入口必然多口径;成本模型只能有一个 compare。

成本算清、单位选定之后,下一章把视角拉到市场:Agent 产品链路上,哪一层会被商品化,哪一层不会。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图