《AI Agent 产品开发·交互、信任与上线》12.1 显式、隐式、投诉三种反馈

本节回答三种反馈哪一种更可信:显式评分稀少且自选,隐式行为量大但噪声多,投诉强烈但滞后。给出三类反馈的采集点、偏差与适用动作,用 A Relay 的 78% 采纳率、B Quill 的 63% 一次采纳与 9% 返工、C Runner 的 1.7% 审计错误说明为什么不能只信评分,并附可运行的反馈分层模型。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上线之后,团队会同时收到三类反馈:用户点的赞踩与评分、用户在界面上的行为、用户通过客服或公开渠道的投诉。三类反馈都叫「反馈」,但它们回答的不是同一个问题,可信度也不同。

这一节先拆开三类反馈的采集点与偏差,再说明为什么不能把它们加成一个「用户满意度」分数。结论先给:显式评分回答「谁愿意说」,隐式行为回答「实际发生了什么」,投诉回答「哪里已经严重到不能忍」。

三类反馈回答不同问题

类型采集点时延覆盖面主要偏差
显式赞踩、星级、可选评论立刻自愿样本只有愿意打分的人发声,极端体验占比过高
隐式采纳、修改、重试、放弃、复制、转人工分钟级全量行为行为有歧义,修改可能是纠错也可能是个性化
投诉工单升级、客服投诉、公开渠道小时到天极少数事件只有影响足够大的问题才会被投诉

三类反馈的时延差异很大。显式评分在结果页就能收集,隐式行为在任务完成后几分钟内产生,投诉往往要等用户找到客服、描述问题、升级工单,已经是几小时甚至几天之后。

时延决定了用途:显式评分可以当天看,适合发现体验问题;隐式行为可以按周聚合,适合发现摩擦;投诉必须按事件处理,不能等到月底做趋势分析。

显式评分:稀少且有偏

显式评分最大的问题不是「用户不诚实」,而是「样本不是随机的」。愿意打分的人通常有两类:体验特别好的人,和体验特别差的人。中间的大多数用户不打分。

这带来两个后果:

  1. 比例不可信:10 条评分里 6 条好评,不代表 60% 的用户满意;它只代表「在这 10 个愿意打分的人里,6 个给了好评」。
  2. 变化不敏感:评分从 4.2 掉到 4.1,可能只是几个极端用户改变了评分,也可能是整体体验下降;单看评分无法区分。

A Relay 的 78% 采纳率不是评分,而是行为数据:26,400 个工单里,78% 的建议被人直接采纳,22% 被人修改。这个数字比评分可靠,因为它覆盖了全部工单,不是自愿样本。但它回答的是「建议有没有被接受」,不是「用户喜不喜欢这个产品」。

B Quill 的 63% 一次采纳率也是行为数据:63% 的报告初稿无需重写,28% 小改,9% 返工。它同样不是满意度,而是「初稿距离可发布有多远」。

显式评分仍然有用,但用途是发现个案,不是估计总体。看到一条低分评论,应该去查那个任务发生了什么;看到评分均值下降,不能直接推断整体质量下降。

隐式行为:量大,但有歧义

隐式行为是 Agent 产品最有价值的反馈来源,因为它是全量的、不需要用户额外操作。常见的隐式信号包括:

行为可能的含义不能直接推断什么
修改建议建议有错,或用户想个性化不能直接算作错误
重新生成第一次结果不可用不能区分是质量问题还是用户改主意
复制内容结果被采用不能证明结果正确
放弃任务体验太差,或用户不需要了不能直接算作失败
转人工Agent 能力不足,或风险太高不能直接算作错误

C Runner 的自动完成率是 78%,22% 转人工。22% 里有一部分是 Agent 能力不足,也有一部分是任务本身风险太高、规则要求转人工。把 22% 全部当成「Agent 错误」会高估问题;把它全部当成「正常转人工」会低估问题。

B Quill 的返工率 9% 是更明确的隐式信号:返工意味着改动超过 50%,已经不能用「个性化」解释。但 9% 仍然不等于「9% 的报告有事实错误」;事实错误率是另一个指标,4.6%。返工率和事实错误率要分开看,前者衡量工作量,后者衡量正确性。

隐式行为的用法是找摩擦点:哪个环节的修改率突然上升,哪个队列的转人工率异常,哪类任务的重新生成次数变多。它是线索,不是判决。

投诉:强烈,但滞后

投诉是三类反馈里信号最强、样本最少的。一条投诉通常意味着问题已经严重到用户愿意花时间描述它。但投诉有三个局限:

  • 滞后:用户要先意识到问题,再找到投诉入口,再等到处理。等投诉进入系统,问题可能已经影响了一批用户。
  • 幸存者偏差:愿意投诉的是少数;大量用户遇到问题后直接离开,不会投诉。
  • 不可比例化:一条投诉不能除以任务量变成「投诉率」,因为投诉的触发门槛不是随机的。

C Runner 的不可回滚错误率是 0.238%,来自 1.7% 的审计错误率乘以 14% 的不可回滚比例。投诉往往集中在这类不可回滚、客户可见的错误上。产品不能等投诉来发现 0.238% 的问题;投诉是事后信号,审计才是事前信号。

投诉的正确用法是触发调查:一条投诉出现,就去查对应的任务、规则、快照和人工复核记录。不要用投诉数量估计整体错误率,也不要用「本月投诉比上月少」证明质量变好。

三种信号不能平均

很多团队会做一个「综合满意度」:评分占 40%,采纳率占 40%,投诉占 20%。这个做法看起来全面,实际把三种不可比的东西加在了一起。

信号回答的问题适合的动作不适合的动作
显式评分谁愿意说,说了什么发现个案、追踪体验估计总体满意度
隐式行为实际发生了什么找摩擦、定优先级直接判定对错
投诉哪里已经不能忍触发调查、补偿计算投诉率

三种信号应该分别设阈值、分别路由:

  • 显式评分低于某个值,触发产品体验复盘,不触发质量回滚。
  • 隐式行为出现连续异常,触发质量调查,不直接触发客户补偿。
  • 投诉出现,触发事件流程,同时检查是否有同类任务受影响。

把它们平均成一个分数,会让每一种信号都失去原有的动作含义。

把反馈分层写成可执行模型

下面的模型把三类反馈的采集点、覆盖率、负向率、代表性和调查触发放在一起。它不输出「满意度」,只输出「这个信号能不能当比例用、应该触发什么动作」。

// file: src/trust/12-1-feedback-types.ts
// tier: L2
// verify: node --test test/trust/12-1-feedback-types.test.ts

// 三种反馈的可信度不同:显式评分稀少且自选,隐式行为量大但噪声多,
// 投诉强烈但滞后。质量运营要按采集点分别解释,不能把它们加成一个总分。

import { divide, type Bps } from "../core/rate.ts";

export type FeedbackKind = "explicit" | "implicit" | "complaint";
export type Signal = "positive" | "neutral" | "negative";

export type FeedbackEvent = {
  readonly kind: FeedbackKind;
  readonly taskId: string;
  readonly signal: Signal;
  readonly at: string;
};

export type CollectionPoint = {
  readonly kind: FeedbackKind;
  readonly where: string;
  readonly latencyHours: number;
  readonly coverage: "sample" | "all" | "rare";
  readonly bias: string;
};

export const COLLECTION_POINTS: Record<FeedbackKind, CollectionPoint> = {
  explicit: {
    kind: "explicit",
    where: "结果页的赞踩、星级评分与可选评论",
    latencyHours: 0,
    coverage: "sample",
    bias: "只有愿意打分的人发声,满意与不满意的极端用户占比过高",
  },
  implicit: {
    kind: "implicit",
    where: "采纳、修改、重试、放弃、复制、转人工",
    latencyHours: 1,
    coverage: "all",
    bias: "行为有歧义:修改可能是纠错,也可能只是个性化",
  },
  complaint: {
    kind: "complaint",
    where: "工单升级、客服投诉、公开渠道",
    latencyHours: 72,
    coverage: "rare",
    bias: "只有影响足够大的问题才会被投诉,不能代表整体错误率",
  },
};

export function countByKind(
  events: readonly FeedbackEvent[],
): Record<FeedbackKind, number> {
  return {
    explicit: events.filter((event) => event.kind === "explicit").length,
    implicit: events.filter((event) => event.kind === "implicit").length,
    complaint: events.filter((event) => event.kind === "complaint").length,
  };
}

export function negativeRate(
  events: readonly FeedbackEvent[],
  kind: FeedbackKind,
): Bps {
  const subset = events.filter((event) => event.kind === kind);
  return divide(
    subset.filter((event) => event.signal === "negative").length,
    subset.length,
  );
}

// 显式评分要覆盖到一定比例才能当总体估计;投诉永远只当事件,不当比例。
export function representative(kind: FeedbackKind, coverageBps: Bps): boolean {
  if (kind === "complaint") return false;
  if (kind === "explicit") return coverageBps >= 3_000;
  return coverageBps >= 8_000;
}

export type FeedbackSummary = {
  readonly totalTasks: number;
  readonly counts: Record<FeedbackKind, number>;
  readonly coverage: Record<FeedbackKind, Bps>;
  readonly negative: Record<FeedbackKind, Bps>;
  readonly representative: Record<FeedbackKind, boolean>;
  readonly investigate: boolean;
};

// 投诉出现一次就要调查;隐式负向连续出现也要调查。
export function shouldInvestigate(
  events: readonly FeedbackEvent[],
  implicitRunLength = 3,
): boolean {
  const complaints = events.some((event) => event.kind === "complaint");
  let run = 0;
  let implicitRun = false;
  for (const event of events) {
    if (event.kind === "implicit" && event.signal === "negative") {
      run += 1;
      if (run >= implicitRunLength) implicitRun = true;
    } else if (event.kind === "implicit") {
      run = 0;
    }
  }
  return complaints || implicitRun;
}

export function summarize(
  events: readonly FeedbackEvent[],
  totalTasks: number,
): FeedbackSummary {
  const counts = countByKind(events);
  const coverage: Record<FeedbackKind, Bps> = {
    explicit: divide(counts.explicit, totalTasks),
    implicit: divide(counts.implicit, totalTasks),
    complaint: divide(counts.complaint, totalTasks),
  };
  const negative: Record<FeedbackKind, Bps> = {
    explicit: negativeRate(events, "explicit"),
    implicit: negativeRate(events, "implicit"),
    complaint: negativeRate(events, "complaint"),
  };
  return {
    totalTasks,
    counts,
    coverage,
    negative,
    representative: {
      explicit: representative("explicit", coverage.explicit),
      implicit: representative("implicit", coverage.implicit),
      complaint: false,
    },
    investigate: shouldInvestigate(events),
  };
}

export type FeedbackDecision = {
  readonly useAsRate: boolean;
  readonly action: "monitor" | "investigate" | "satisfaction";
};

// 三种反馈对应三种动作,不合并成一个「用户满意度」分数。
export function decideUsage(summary: FeedbackSummary): FeedbackDecision {
  if (summary.investigate) {
    return { useAsRate: false, action: "investigate" };
  }
  if (summary.representative.implicit) {
    return { useAsRate: true, action: "monitor" };
  }
  if (summary.representative.explicit) {
    return { useAsRate: true, action: "satisfaction" };
  }
  return { useAsRate: false, action: "monitor" };
}

模型里 representative 的门槛是显式 30%、隐式 80%。这两个数字是模型假设,不是行业标准;团队可以按自己的采样能力调整。关键是把它写下来,让「这个评分能不能代表总体」变成一个可以回答的问题。

shouldInvestigate 把投诉和连续负向行为分开处理:投诉一条就调查,隐式负向要连续三条才调查。这样既不会因为一条投诉把整个产品判死,也不会忽略连续出现的摩擦信号。

一条可操作的判据

面对一条反馈,先问三个问题:

  1. 它覆盖了多少任务?覆盖不足的反馈只能当个案。
  2. 它的采集点有没有选择偏差?自愿评分和全量行为不能直接比。
  3. 它应该触发什么动作?体验复盘、质量调查、事件流程,三者不同。

三个问题答完,再决定要不要把它放进周报。答不完的反馈,先留在原始记录里,不要急着汇总成比率。

小结

  • 显式评分回答「谁愿意说」,隐式行为回答「实际发生了什么」,投诉回答「哪里已经不能忍」。
  • 显式评分稀少且自选,比例不可信,变化不敏感;用途是发现个案,不是估计总体。
  • 隐式行为覆盖全量但有歧义;修改、重试、放弃、转人工都只是线索,不是判决。
  • 投诉强烈但滞后,且不可比例化;用途是触发调查和补偿,不是计算投诉率。
  • A 的 78% 采纳率、B 的 63% 一次采纳与 9% 返工、C 的 78% 自动完成率都是行为数据,不是满意度。
  • 三种反馈不能平均成一个分数;分别设阈值、分别路由,才能保留动作含义。
  • 判据是三个问题:覆盖多少任务、采集点有没有偏差、应该触发什么动作。

阅读导航:上一节:11.3 aia-lab:放量曲线与回滚阈值 · 下一节:12.2 抽检与人工评审 。

常见错误与边界

  1. 把评分均值当满意度。 愿意打分的人是自选样本,均值只代表这些人;要估计总体,先看覆盖率。
  2. 把修改率当错误率。 修改可能是纠错,也可能是个性化;B 的 9% 返工率和 4.6% 事实错误率是两个指标。
  3. 把转人工率当失败率。 C 的 22% 转人工里有一部分是规则要求,不全是 Agent 能力不足。
  4. 用投诉数量算投诉率。 投诉的触发门槛不是随机的,数量不能除以任务量变成比例。
  5. 把三种反馈平均成总分。 平均会让每种信号失去动作含义;显式、隐式、投诉要分别路由。
  6. 只看负向,不看覆盖。 一条负向反馈在 10 个任务里和在 10,000 个任务里,含义完全不同。

下一节讲抽检与人工评审:抽多少、谁抽、抽到什么算不合格。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图