《AI Agent 产品开发·组织、平台与规模化》5.2 供应商评估的产品维度

供应商演示回答的是「能不能做」,产品评估要回答「在我的任务分布上稳定做到多少」。本节给出任务覆盖、评测透明度、数据归属、退出成本四个维度的评估表,用 B Quill 的领域知识说明演示与真实能力的差距,并把打分与结论写成可复算的函数,三档结论对应不同的合同动作。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节把「哪一段该买」判完了,接下来的问题变成「买谁」。大多数团队在这一步会收到一份很漂亮的演示:供应商用自己的样例数据,展示了完整的任务链路,响应很快,输出也很像那么回事。演示结束,采购清单上只剩价格。

问题在于,演示回答的是「能不能做」,产品要回答的是「在我的任务分布上,稳定做到多少」。这两个问题之间隔着一段距离,而这段距离通常要在上线后才被发现。供应商评估的产品维度,就是把这个距离提前量出来。

演示回答「能不能」,评估回答「稳不稳」

演示是供应商选的样本,评估是你选的样本。这个差别听起来简单,却决定了评估表的每一行该怎么填。

演示通常会展示三类任务:输入干净、边界清楚、结果容易判断。真实任务分布里,大量输入是脏的、边界是模糊的、结果要人来判。A Relay 的工单里有重复提交、跨队列、信息缺失;B Quill 的数据包有字段错位、口径变化、上月遗留问题;C Runner 的异常有规则没覆盖到的新品类。这些样本不会出现在演示里,但会占真实任务量的一大部分。

所以评估的第一条原则是:用自己的失败样本,而不是供应商的成功样本。从历史任务里抽一批人工处理时也出过错的案例,让供应商跑一遍。它在这些样本上的表现,才接近上线后的真实水平。

四个产品维度

供应商评估有很多技术项:延迟、上下文长度、工具调用稳定性、价格。产品负责人不需要替工程做全部技术评估,但必须盯住四个会直接影响产品和责任的维度。

维度权重要回答的问题不合格的信号
任务覆盖30%在真实任务分布上,它能独立完成多少?只演示精选样本,拒绝跑你的失败集
评测透明度25%评测集、口径与失败样本能不能拿到?只给一个总分,不给分项与样本
数据归属25%输入、输出与派生数据归谁,能不能导出?合同只写「用于服务改进」,不写归属
退出成本20%停用当天,多久能切走并取回数据?导出只有截图或私有格式,没有过渡期

权重不是行业标准,而是产品视角的排序。任务覆盖排第一,因为不能完成任务的能力没有价值;评测透明度排第二,因为没有分项就无法定位问题;数据归属与退出成本并列,因为它们决定这段能力是资产还是依赖。

四个维度都可以打 0、1、2 分。0 分不是「差一点」,而是「这一项不存在」;1 分是「有,但需要人补」;2 分是「可验收、可复现」。评估表的价值不在于算出一个精确分数,而在于逼评估者给出证据。

评估表怎么填

把四个维度展开成可打分的检查项,评估就从感觉变成了记录。

维度0 分1 分2 分
任务覆盖只在演示样本上可用覆盖主流程,例外要人补在失败样本上也有稳定表现
评测透明度只有总体准确率有分项,但样本不可见评测集、口径、失败样本都可核对
数据归属归属不清或默认归供应商数据归你,但导出受限归属、导出、删除都有合同条款
退出成本无法导出或没有过渡期可导出,但格式私有结构化导出 + 可重放 + 明确切换窗口

填表时有两个纪律。第一,每一分都要有证据,不能因为「聊得不错」给 2 分。第二,评分人里要有实际用这个产品的人,不能只有采购和工程。A 的确认时长是 0.75 分钟,这个数字只有一线支持人员才知道能不能接受;B 的审改是 1.6 小时,只有顾问才知道哪些错误必须拦在发布前。

演示与真实能力的差距

差距最容易被低估的地方,是「覆盖率」这个词。供应商说覆盖了全部任务类型,通常指的是它的能力清单里有这些类型,不是它在你的样本上都能做对。把演示里的「全覆盖」折算成 10000 bps,再用试点数据对照,差距就出来了。

B Quill 的一次采纳率是 63.0%,事实错误率 4.6%,返工率 9%。这三个数字说明:即使供应商能生成 12 到 20 页的报告初稿,真正无需重写的只有 63.0%,接近一成的任务要大幅返工。演示里看到的流畅初稿,和顾问审改 1.6 小时之后的成品,不是同一个东西。

A Relay 的建议采纳率是 78%,采纳后仍出错率 2.9%;C Runner 的自动完成率是 78%,审计发现错误率 1.7%。三个案例的「完成率」都落在 63.0% 到 78.0% 之间,没有一个接近演示里的「全覆盖」。这不是供应商故意夸大,而是演示样本与真实分布本来就不同。

评估时要问的不是「它能不能做到 100%」,而是「剩下的部分谁来补、补起来要多久」。A 的 22% 不采纳要走 91 秒的修改;B 的 9% 返工要 3.0 小时;C 的 22% 转人工要 14 分钟。这些补充成本必须算进评估,否则买回来的是一份看起来便宜、实际很贵的合同。

B Quill 的领域知识为什么买不到

B Quill 每月 606 份报告,咨询团队 15 人,工程投入只有 1 人加外包,能力复用率约 30%。这个配置决定了它不可能自建模型或平台,但它自建了一样东西:领域知识。

领域知识具体是什么?是行业模板里的口径怎么随客户调整,是数据包字段到模板占位符的映射,是事实核查规则覆盖哪些监管口径,是某类客户看到某个数字会追问什么。这些内容不在任何通用 Agent 平台的演示里,因为供应商服务的是所有行业,不会为单个客户的模板维护一套映射。

所以评估 B 类供应商时,要专门问领域知识怎么落地:

  • 行业模板的口径变化,由谁维护映射?
  • 数据包字段与模板占位符对不上时,系统怎么处理?
  • 事实核查规则能不能按客户扩展,扩展成本谁承担?
  • 失败样本能不能按客户拆开看,而不是只给一个总分?

这四个问题答不清楚,供应商的通用能力再强,B 仍然要投入大量人力做最后一公里。而这最后一公里,恰好是 B 的差异化所在,也是它一次采纳率能到 63.0% 的原因。

把评估表写成打分函数

评估表如果只停留在文档里,不同的人会打出不同的分。下面这个模型把四个维度、权重和结论写成可复算的函数,输入是每个维度的 0/1/2 分,输出是 0 到 10000 bps 的总分与三档结论。

// file: src/scale/05-2-vendor-eval.ts
// tier: L2
// verify: node --test test/scale/05-2-vendor-eval.test.ts

// 供应商评估的产品维度:任务覆盖、评测透明度、数据归属、退出成本。
// 演示看的是「能不能做」,评估要问「在我的任务分布上,稳定做到多少」。

import { divide, formatBps, FULL } from "../core/rate.ts";

export type EvalDimension =
  | "task-coverage"
  | "eval-transparency"
  | "data-ownership"
  | "exit-cost";

export const DIMENSION_ORDER: readonly EvalDimension[] = [
  "task-coverage",
  "eval-transparency",
  "data-ownership",
  "exit-cost",
];

export const DIMENSION_LABEL: Record<EvalDimension, string> = {
  "task-coverage": "任务覆盖",
  "eval-transparency": "评测透明度",
  "data-ownership": "数据归属",
  "exit-cost": "退出成本",
};

// 权重之和固定为 10000 bps,便于用同一把尺子横向比较。
export const WEIGHT_BPS: Record<EvalDimension, number> = {
  "task-coverage": 3_000,
  "eval-transparency": 2_500,
  "data-ownership": 2_500,
  "exit-cost": 2_000,
};

export const DIMENSION_ASK: Record<EvalDimension, string> = {
  "task-coverage": "在真实任务分布上,它能独立完成多少?",
  "eval-transparency": "评测集、口径与失败样本能不能拿到?",
  "data-ownership": "输入、输出与派生数据归谁,能不能导出?",
  "exit-cost": "停用当天,多久能切走并取回数据?",
};

export type DimensionScores = Record<EvalDimension, 0 | 1 | 2>;

// 每个维度 0/1/2 分,按权重折算成 0–10000 bps。
export function weightedScore(scores: DimensionScores): number {
  let total = 0;
  for (const dimension of DIMENSION_ORDER) {
    total += (WEIGHT_BPS[dimension] * scores[dimension]) / 2;
  }
  return Math.round(total);
}

export type EvalVerdict = "pass" | "conditional" | "reject";

export function verdict(scoreBps: number): EvalVerdict {
  if (scoreBps >= 7_500) return "pass";
  if (scoreBps >= 5_500) return "conditional";
  return "reject";
}

// 演示值与被测值的差:负数表示演示高估。
export function gapBps(claimed: number, measured: number): number {
  return measured - claimed;
}

export function gapLabel(claimed: number, measured: number): string {
  return formatBps(gapBps(claimed, measured));
}

// 供应商演示里常说「全覆盖」,折算成 10000 bps。
// 真实能力要用试点数据对照:B Quill 的一次采纳率是 63.0%。
export const CLAIMED_FULL_COVERAGE_BPS = FULL;

export type PilotEvidence = {
  readonly key: "A" | "B" | "C";
  readonly completionBps: number;
  readonly errorBps: number;
  readonly note: string;
};

// 试点证据只取事实表:A 采纳率、B 一次采纳率、C 自动完成率。
export const PILOT_EVIDENCE: Record<"A" | "B" | "C", PilotEvidence> = {
  A: {
    key: "A",
    completionBps: 7_800,
    errorBps: 290,
    note: "建议采纳率 78.0%,采纳后仍出错率 2.9%",
  },
  B: {
    key: "B",
    completionBps: 6_300,
    errorBps: 460,
    note: "一次采纳率 63.0%,事实错误率 4.6%",
  },
  C: {
    key: "C",
    completionBps: 7_800,
    errorBps: 170,
    note: "自动完成率 78.0%,审计发现错误率 1.7%",
  },
};

// B 的领域知识不在通用演示里:模板口径、字段映射、事实核查规则。
export const DOMAIN_QUESTIONS: readonly string[] = [
  "行业模板里的口径是否随客户调整,供应商是否维护这层映射?",
  "数据包字段到模板占位符的对应关系,由谁负责更新?",
  "事实核查规则是否覆盖客户所在行业的监管口径?",
  "失败样本能不能按客户拆开看,而不是只给一个总分?",
];

export function domainFitBps(covered: number, required: number): number {
  return divide(covered, required);
}

export type VendorScorecard = {
  readonly name: string;
  readonly scores: DimensionScores;
  readonly scoreBps: number;
  readonly verdict: EvalVerdict;
};

export function scorecard(name: string, scores: DimensionScores): VendorScorecard {
  const scoreBps = weightedScore(scores);
  return { name, scores, scoreBps, verdict: verdict(scoreBps) };
}

weightedScore 先给四个维度分配权重,权重之和固定为 10000 bps:任务覆盖 30%、评测透明度 25%、数据归属 25%、退出成本 20%。每个维度满分 2 分,按权重折算后相加,全 2 分正好是 10000 bps。这样不同供应商可以用同一把尺子比较,也不会因为维度数量变化而失真。

verdict 把总分分成三档:7500 bps 以上通过,5500 到 7499 有条件通过,5500 以下拒绝。边界不是精确科学,而是给评审一个共同的讨论起点。有条件通过意味着合同里要补条款,而不是「先上线再说」。

gapBps 与 PILOT_EVIDENCE 负责把演示与真实拉开。CLAIMED_FULL_COVERAGE_BPS 把「全覆盖」定义成 10000 bps;用 B 的 6300 bps 一次采纳率去减,得到 -3700 bps,也就是负 37.0 个百分点。这个负数不是用来指责供应商,而是提醒评估者:演示值与试点值之间,本来就该有一段需要解释的差。

评估之后的三种结论

评估表算完,结论只有三种,每种对应不同的下一步。

通过。 四个维度都在 1 分以上,总分过线,且失败样本上有可复现的表现。下一步不是直接全量,而是按第 2 章和第 3 章的放量规则做试点。通过只说明「值得试」,不说明「可以直接铺开」。

有条件通过。 总分在 5500 到 7499 之间,通常卡在评测透明度或退出成本。这时合同要补三样东西:分项评测的交付节奏、数据导出格式、过渡期支持。补不齐就不签,因为这两项在出问题时才暴露,事后谈判的筹码最少。

拒绝。 总分低于 5500,或者任务覆盖在失败样本上明显不成立。拒绝不一定是供应商能力差,也可能是它服务的任务分布与你的不匹配。这时候换一家比压价更有效。

三种结论之外,还有一种特殊情况:供应商能力很强,但退出成本极高。这类供应商适合做短期试点,不适合做长期底座。评估表把它标成「有条件通过」,但条件不是补文档,而是先想清楚如果明年要换,代价是多少。

小结

  • 演示回答「能不能做」,评估回答「在我的任务分布上稳定做到多少」,两者之间要用失败样本去量。
  • 四个产品维度:任务覆盖 30%、评测透明度 25%、数据归属 25%、退出成本 20%。
  • 每个维度打 0/1/2 分,每一分都要有证据,评分人里要有真正使用产品的人。
  • 演示的「全覆盖」折算成 10000 bps,B 的一次采纳率是 6300 bps,差距是负 37.0 个百分点。
  • 三案例的完成率都在 63.0% 到 78.0% 之间,剩余部分要靠人补,补的成本要算进评估。
  • B Quill 的领域知识买不到:模板口径、字段映射、核查规则、按客户拆分的失败样本。
  • 评估结论分通过、有条件通过、拒绝;有条件通过必须补评测交付、导出格式与过渡期条款。

阅读导航:上一节:5.1 买还是自建的判据 · 下一节:5.3 供应商退出与数据取回 。

常见错误与边界

  1. 用供应商的演示样本做评估。 演示样本是挑过的,真实分布里的脏数据、边界任务和例外才是评估对象。
  2. 只算总分,不看分项。 总分过线但评测透明度为 0 时,上线后无法定位问题;分项比总分更能指导合同。
  3. 把「覆盖率」当成「正确率」。 能力清单里有这个任务,不等于在你的样本上能做对;B 的一次采纳率只有 63.0%。
  4. 忽略补充成本。 A 的 22% 不采纳、B 的 9% 返工、C 的 22% 转人工都要人补,这些时间必须算进总成本。
  5. 让采购和工程单独打分。 使用产品的人才知道 0.75 分钟确认和 1.6 小时审改能不能接受,评分人里必须有他们。
  6. 把有条件通过当成通过。 有条件通过意味着合同要补评测交付、导出格式和过渡期,补不齐就不签。

这一节把「买谁」拆成了四个可打分的维度。下一节回答最后一个问题:如果有一天要换掉它,数据怎么取回,审计怎么移交,多久能切走。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图