以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价,也不构成法律意见。定级、时限与回滚规则是产品教学设定值,实际处置流程须由法务与运营共同确认。
举报入口上线之后,团队最容易犯的错是把它当客服工单处理:收到、回复、关闭。这条路径能安抚单个玩家,却无法回答三个更重要的问题:这类内容还有多少、同批生成的内容要不要一起撤、下次怎么避免。
举报系统真正的产出不是回复,而是三样东西:定级、回滚范围、证据链。定级决定多快响应,回滚范围决定撤回多少,证据链决定能不能追责。
举报不是客服工单
客服工单的目标是让玩家满意,举报处理的目标是控制风险。两个目标在多数时候一致,在关键时候会冲突:玩家希望立刻删掉内容并处罚对方,而风险控制需要先确认内容是否真的越界、影响范围有多大。
把举报当工单,会出现两种典型失误:
- 只删被举报的那一条。 同一模板生成的其他内容还在线上,玩家换个入口就能再看到。
- 只按玩家情绪定级。 情绪激烈的举报被优先处理,真正涉及未成年人的内容排在后面。
因此举报处理必须有一套与客服工单不同的流程:先定级,再定范围,最后才回复。
定级由类别与可见范围决定
定级不是由举报人的措辞决定,而是由两个客观维度决定:内容类别与可见范围。
| 类别 | 被他人看到 | 只自己看到 |
|---|---|---|
| 违法违规 | L1 | L2 |
| 骚扰攻击 | L2 | L3 |
| 剧透 | L3 | L4 |
| 质量问题 | L4 | L4 |
可见范围降一级,是因为只出现在自己屏幕上的内容扩散面小,止损成本低。但降级有下限:违法违规内容即使只自己看到,也至少是 L2,不能降到不处理。
质量问题不分可见范围,统一 L4。它不涉及安全,但也不该被忽略,因为它往往指向模板或提示词的系统性问题。
首响时限按级递减
| 级别 | 首响时限 | 处理时限 | 值班要求 |
|---|---|---|---|
| L1 | 1 小时 | 4 小时 | 7×24 值班 |
| L2 | 4 小时 | 24 小时 | 7×24 值班 |
| L3 | 12 小时 | 72 小时 | 工作时间 |
| L4 | 24 小时 | 7 天 | 工作时间 |
首响指给出明确结论或明确的处理计划,不是自动回复。自动回复不计入首响,因为它没有解决任何判断。
时限的意义在于资源分配。L1 的 1 小时要求意味着必须有人 7×24 待命;如果团队做不到,就应该把 L1 的定义收紧,而不是把时限放宽。定一个做不到的时限,比不定更糟。
回滚范围由级别决定
回滚不是「删掉这一条」,而是按影响范围选择粒度:
| 级别 | 回滚范围 | 具体动作 |
|---|---|---|
| L1、L2 | 模板 | 该模板全量下线并隔离,同模板内容全部替换 |
| L3 | 批次 | 同一提示词版本、同一模型版本生成的批次下线 |
| L4 | 单条 | 只撤回被举报内容,保留其余 |
一二级按模板整体撤,是因为同模板生成的内容风险高度相关:如果一条模板产出了违规内容,同模板的其他内容很可能也有类似问题。只撤一条,等于留下同一批隐患。
三级按批次撤,是因为剧透类问题通常与一次版本更新相关,而不是模板本身。四级只撤单条,避免因为一条低质量内容把整个模板停掉。
止损顺序:隔离、替换、复盘
内容事故的处置顺序固定为三步:
- 隔离。 先把内容从所有展示入口摘掉,包括缓存与预生成队列。只删数据库不删缓存,玩家仍能看到。
- 替换。 用模板池中的安全内容替换,保证功能不出现空洞。替换记录要带审计键,方便后续复盘。
- 复盘。 定位是模板、提示词、模型还是审核规则的问题,再决定是否扩大回滚范围。
顺序不能颠倒。先复盘再隔离,内容还在线上扩散;先替换再隔离,替换的内容可能也被污染。
把定级与回滚写成可运行判定
下面的实现把定级、时限、回滚范围、隔离要求、证据链检查与人工介入判断写成纯函数。
// file: src/content/report.ts
// tier: L1
// verify: node --test test/content/report.test.ts
// 举报、回滚与追责:先定级,再定回滚范围,最后查证据链是否完整。
// 定级决定多久响应,范围决定撤回多少,证据链决定能不能罚人。
export type Category = "illegal" | "harassment" | "spoiler" | "quality";
export type Reach = "private" | "others";
export type Severity = 1 | 2 | 3 | 4;
export type Report = {
readonly id: string;
readonly category: Category;
readonly reach: Reach;
readonly templateId: string;
};
const BASE_SEVERITY: Record<Category, Severity> = {
illegal: 1,
harassment: 2,
spoiler: 3,
quality: 4,
};
// 只出现在自己屏幕上的内容降一级,但不能降到最轻档之外。
export function severityOf(report: Report): Severity {
const base = BASE_SEVERITY[report.category];
if (report.reach === "private") {
return Math.min(4, base + 1) as Severity;
}
return base;
}
// 首响时限按级递减:L1 一小时,L4 一天,超过就是不达标。
export function firstResponseHours(severity: Severity): 1 | 4 | 12 | 24 {
switch (severity) {
case 1:
return 1;
case 2:
return 4;
case 3:
return 12;
default:
return 24;
}
}
export type RollbackScope = "single" | "batch" | "template";
// 越严重越要按模板整体撤:只撤一条,同模板的其他内容还在线上。
export function rollbackScope(severity: Severity): RollbackScope {
if (severity <= 2) return "template";
if (severity === 3) return "batch";
return "single";
}
export function requiresQuarantine(severity: Severity): boolean {
return severity <= 2;
}
export type Trace = {
readonly generationId?: string;
readonly promptVersion?: string;
readonly modelVersion?: string;
readonly reviewedBy?: string;
};
// 四个字段缺一不可:没有生成 id 找不到原文,没有版本找不到同批,没有人就没人负责。
export function traceComplete(trace: Trace): boolean {
return Boolean(
trace.generationId &&
trace.promptVersion &&
trace.modelVersion &&
trace.reviewedBy,
);
}
// 重级别举报无论证据链是否完整都进人工;轻级别缺证据才升级。
export function needsHuman(report: Report, trace: Trace): boolean {
return severityOf(report) <= 2 || !traceComplete(trace);
}
severityOf 的降级只作用于可见范围,不作用于类别。违法违规内容即使只自己看到,也从 L2 起步,不会被降到「不处理」。
firstResponseHours 用精确的字面量类型,而不是数字。这样调用方写错级别时,类型检查会发现,而不是在运行时返回一个兜底值。
rollbackScope 把级别映射到三种粒度。映射关系是产品决策,所以它显式写在函数里,而不是散落在各处判断。
traceComplete 要求四个字段同时存在。少一个就返回 false,触发人工复核;不做「部分完整」的中间态,避免团队用「有生成 id 就够了」说服自己。
needsHuman 的判断是「重级别一律人工,轻级别看证据」。这条规则保证高风险内容不会因为自动流程被漏掉,同时让低风险内容在证据完整时自动关闭。
追责追的是三类对象
内容事故追责常被简化成「罚谁」,实际要追的是三类对象:
- 追模板。 同一模板反复出问题,停用模板比处罚操作者更有效。
- 追流程。 审核漏放集中在某个环节,说明流程设计有问题,而不是某个人的疏忽。
- 追个人。 只有前两类都排除,才轮到个人责任。
顺序反过来,就会出现「每次事故都处罚当班审核员,模板问题依然存在」的情况。追责的目的是减少下一次,不是找一个承担者。
误报与恶意举报
举报量上升不一定是内容变差,也可能是恶意举报。处理方式要区分:
- 误报。 内容确实没问题,但玩家理解不同。记录误报原因,用于改进提示词与说明文案。
- 恶意举报。 同一账号短时间大量举报、举报内容明显不相关。进入观察名单,不直接封禁。
- 有组织举报。 多个账号在同一时间段举报同一目标。按投诉量异常处理,转人工评估。
三种情况都不该自动处罚被举报的玩家。自动处罚会把举报变成攻击工具,最终伤害的是正常玩家。
处置记录要能对上账
每条举报处置至少留下五个字段:级别、回滚范围、实际撤回条数、完成时间、结论。缺少「实际撤回条数」时,团队只能证明自己点过按钮,无法证明内容已经下线。
这五个字段还要能按模板聚合。单条记录只能回答「这一次怎么处理的」,聚合之后才能回答「这个模板是不是一直在出问题」。
聚合报告按周生成,覆盖每个模板的举报数、升级为 L1 的次数与平均处置时长。没有这份报告,模板问题只能靠人回忆。
对外披露的边界
内容事故是否对外说明,取决于影响范围与可验证性。可以披露的是:影响了什么、已经做了什么、玩家可以怎么做。不能披露的是:具体玩家的信息、模型内部细节、尚未确认的推测。
披露的作用是止损信任,不是解释技术。玩家关心的是「我的账号有没有受影响」「以后还会不会发生」,而不是模型为什么生成了那句话。
小结
- 举报系统真正的产出是定级、回滚范围与证据链,不是回复本身。
- 定级由类别与可见范围决定,不由举报人的情绪决定。
- 可见范围降一级,但违法违规内容至少 L2,不能降到不处理。
- 首响时限 1、4、12、24 小时,三级以上可工作时间处理。
- 一二级按模板整体撤,三级按批次,四级只撤单条。
- 止损顺序固定:先隔离、再替换、最后复盘,顺序颠倒会让内容继续扩散。
- 证据链四要素:生成 id、提示词版本、模型版本、审核人,缺一触发人工。
- 追责顺序是模板、流程、个人,反过来只会让模板问题长期存在。
- 误报、恶意举报、有组织举报分开处理,都不自动处罚被举报方。
- 对外披露讲影响与处置,不讲模型细节与未确认推测。
阅读导航:上一节:6.2 生成前约束与生成后过滤 · 下一节:7.1 每局、每玩家与每月的 Agent 成本 。
常见错误与边界
- 把举报当客服工单。 只回复不定位,同模板的其他内容仍在线上。
- 按情绪定级。 会哭的孩子有奶吃,真正高风险的内容反而排队。
- 只删被举报的那一条。 同批内容换个入口还能看到,等于没处理。
- 隔离只删数据库。 缓存与预生成队列仍在供货,玩家依然能刷到。
- 没有证据链就处罚。 无法申诉,也无法证明处罚合理,最终伤害正常玩家。
- 追责只追个人。 模板与流程问题被掩盖,同类事故会重复发生。
内容与成本是两条不同的账:审核保护的是体验与合规,成本决定这套能力能不能长期开着。下一节从单次调用开始,把三层成本账算清楚。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。