以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
Agent 产品招聘有一个很隐蔽的错位:岗位描述写的是「熟悉大模型、会写提示词、有 Agent 项目经验」,面试问的也是这些,但真正决定产品能不能上线的,是另一件事——能不能把「做得好」写成可判定的验收。
会调提示词的人能把演示做得很好,因为演示的输入是挑过的、输出是看过的。可判定的验收要求他面对没见过的输入,说清楚什么算对、什么算错、错了怎么发现。这两种能力不矛盾,但也不等价。招聘如果只考前者,招进来的人会在放量阶段暴露短板。
一个判断:能不能写出可判定验收
面试不需要考很多维度。一个核心判断就够:给定一个模糊的业务目标,候选人能不能写出三条可判定的验收标准,并说明每条标准怎么测、阈值从哪来、失败时怎么定位。
这个判断之所以有效,是因为它同时考了四件事。第一,他能不能把目标拆成可观察的结果;第二,他知不知道基线数字从哪里来;第三,他有没有想过失败模式;第四,他能不能把标准写到别人也能执行。这四件事,正好对应 Agent 产品从任务定义到放量的主要工作。
反过来,只会调提示词的人通常会在第二步卡住:他能说出「让模型更准确」,但说不出「准确」怎么测;能说出「加一个反思步骤」,但说不出反思后错误率应该降到多少;能说出「用更好的模型」,但说不出换模型的成本和退出路径。
五项面试判据
五项判据覆盖从任务到交接的完整链条。每项 0–2 分,满分 10 分;8 分是及格线,和全书 45 项评审的 72/90 同为 80%。
| 判据 | 面试问题 | 2 分的表现 | 0 分的表现 |
|---|---|---|---|
| 可判定验收 | 给一个模糊目标,写三条验收 | 每条有指标、阈值、测法 | 只说「效果更好」 |
| 失败模式 | 列出四种失败及表现 | 每种能对应到可观察信号 | 只说「模型会出错」 |
| 基线数字 | 问人工基线从哪来 | 能说出公式与口径 | 拍一个「大概」 |
| 接管成本 | 问人接回来要多久 | 能拆审计与转人工 | 认为不需要接管 |
| 领域证据 | 问对错标准由谁定 | 能说清例外与签字人 | 认为模型自己会判断 |
五项里最重要的是第一项和第五项。可判定验收决定产品能不能被验收,领域证据决定验收标准是不是专业。中间三项可以入职后补,但这两项如果空白,后面很难补回来,因为它们涉及的是判断习惯,不是工具熟练度。
面试时不要只听得出的结论,要听他的推导。比如候选人说「返工率要低于 12%」,追问他「为什么是 12%,不是 10% 或 15%」。能说出「这是扩大阶段的退出线,试点线是 15%,两者差 3 个百分点」的人,和说「行业惯例」的人,是两种不同的产品判断。
用 B Quill 的报告题做例子
B Quill 的业务是客户报告起草。月报告量 606 份,人工基线 4.2 小时一份,Agent 介入后审改 1.6 小时。质量分布是一次采纳 63%、小改 28%、返工 9%,事实错误率 4.6%。
面试题可以这样出:给候选人一份报告需求,让他写出放量前的验收标准。合格的答案至少要包含三条。
第一条,事实错误率不高于 5.0%。这是 B 扩大阶段的退出条件,不是拍出来的数字。候选人要能解释:试点阶段允许 7.0%,扩大阶段收紧到 5.0%,当前是 4.6%,余量只有 0.4 个百分点。
第二条,返工率不高于 12.0%。同样是扩大阶段的退出条件,试点线是 15.0%,两者差 3.0 个百分点。候选人要能说出:返工率不是越低越好,低于 12.0% 才说明初稿的结构和事实都可用;如果只盯一次采纳率 63%,会忽略小改和返工两部分。
第三条,审改时长不超过 1.6 小时。这是 B 的人工基线,也是价值能否成立的关键。如果审改从 1.6 小时升到 3.0 小时,节省率会大幅下降,续约谈判就会变成重新比价。候选人要能意识到:报告产品的验收不只是「写得像不像」,还包括「人改起来要多久」。
三道题都答对,说明候选人能把业务目标翻译成可复算的门槛。只答「文字通顺、事实准确、客户满意」的人,不管提示词写得多好,都不适合进入下一轮。
三种常见误招
误招不是能力差,而是能力结构与岗位不匹配。三种最常见。
第一种,只会调提示词。他的答案是「换更好的模型」「加 few-shot」「让模型自我反思」,但写不出一条可判定的验收,也说不清失败模式。这类人适合做原型,不适合做放量。
第二种,只会追演示效果。他能把 demo 做得很好,输入挑得干净,输出调得漂亮,但一问基线和失败率就空白。演示效果是必要的,但它只证明「能跑通」,不证明「能承接流量」。Agent 产品的失败往往发生在没被演示覆盖的输入上。
第三种,没有领域证据。他认为对错由模型判断,或者认为「用户会告诉我们对不对」。这类人在 B 的报告题上会答「让客户审改」,但说不出审改标准由谁定义、例外怎么覆盖。领域判断不能外包给模型,也不能外包给用户。
三种误招有重叠,所以识别时要看空白项的组合,而不是只看一个缺点。可判定验收和失败模式都空白,偏提示词型;失败模式和基线都空白,偏演示型;领域证据空白,偏领域游客型。
招人评分怎么定
五项判据,每项 0–2 分,满分 10 分。8 分及格,对应 80%。这个分数线不是为了精确排序,而是为了把「能用」和「再看看」分开。
评分时要注意两件事。第一,不要因为一项特别强就忽略其他项。一个候选人在领域证据上拿 2 分,但可判定验收是 0 分,仍然不应该及格,因为产品工作最终要落到验收。第二,不要把「会调提示词」单独加分。提示词是工程手段,不是产品判断;它可以在面试中体现,但不应该成为独立判据。
及格线以上还要看组合。五项全 2 分是理想情况,但现实中更常见的是有一项 1 分。1 分意味着「知道概念但没做过」,可以在入职后补;0 分意味着「没有这个判断习惯」,补起来更慢。招聘决策要看 0 分出现在哪一项,而不是只看总分。
把面试判据写成可运行结构
下面这个模型把五项判据、三种误招和 B 的报告题写成可运行结构。它不替代面试官,只保证评分口径一致、误招识别有据可查。
// file: src/scale/12-3-hiring.ts
// tier: L2
// verify: node --test test/scale/12-3-hiring.test.ts
// 招人看一件事:能不能把「做得好」写成可判定的验收。
// 会调提示词是加分项,不是及格线。
import { QUILL } from "../cases.ts";
import { divide } from "../core/rate.ts";
import { fail, ok, type Result } from "../core/result.ts";
export type Criterion =
| "testable-acceptance"
| "failure-modes"
| "baseline"
| "handoff"
| "domain-evidence";
export const CRITERIA: readonly Criterion[] = [
"testable-acceptance",
"failure-modes",
"baseline",
"handoff",
"domain-evidence",
];
export const CRITERION_LABEL: Record<Criterion, string> = {
"testable-acceptance": "可判定验收",
"failure-modes": "失败模式",
baseline: "基线数字",
handoff: "接管成本",
"domain-evidence": "领域证据",
};
export const MAX_PER_CRITERION = 2;
export const MAX_SCORE = CRITERIA.length * MAX_PER_CRITERION;
// 80%,与 45 项评审 72/90 同一条通过线。
export const PASS_BPS = 8_000;
export const PASS_SCORE = Math.ceil((MAX_SCORE * PASS_BPS) / 10_000);
export type Answer = {
readonly criterion: Criterion;
readonly score: 0 | 1 | 2;
readonly note: string;
};
export type Candidate = {
readonly name: string;
readonly answers: readonly Answer[];
};
function answerScore(candidate: Candidate, criterion: Criterion): number {
const answer = candidate.answers.find((item) => item.criterion === criterion);
return answer ? answer.score : 0;
}
export function score(candidate: Candidate): number {
return CRITERIA.reduce(
(total, criterion) => total + answerScore(candidate, criterion),
0,
);
}
export function scoreBps(candidate: Candidate): number {
return divide(score(candidate), MAX_SCORE);
}
export function passes(candidate: Candidate): boolean {
return scoreBps(candidate) >= PASS_BPS;
}
export type MisHire = "prompt-tweaker" | "demo-chaser" | "domain-tourist";
export const MIS_HIRE_LABEL: Record<MisHire, string> = {
"prompt-tweaker": "只会调提示词",
"demo-chaser": "只会追演示效果",
"domain-tourist": "没有领域证据",
};
// 三种误招各有可辨认的空白项;先命中先返回,避免一个人被贴两个标签。
export function misHire(candidate: Candidate): MisHire | null {
const acceptance = answerScore(candidate, "testable-acceptance");
const failure = answerScore(candidate, "failure-modes");
const baseline = answerScore(candidate, "baseline");
const domain = answerScore(candidate, "domain-evidence");
if (acceptance === 0 && failure === 0) return "prompt-tweaker";
if (failure === 0 && baseline === 0) return "demo-chaser";
if (domain === 0) return "domain-tourist";
return null;
}
// B Quill 的质量事实:一次采纳 63%、小改 28%、返工 9%,
// 三档相加必须是 100%;事实错误率 4.6%。
export const QUILL_QUALITY = {
onceAdoptBps: 6_300,
minorEditBps: 2_800,
reworkBps: 900,
factErrorBps: 460,
} as const;
// 面试题:给 B 写一条报告验收。可以用的线只有事实表里的扩大阶段退出条件。
export const QUILL_FACT_ERROR_MAX_BPS = 500;
export const QUILL_REWORK_MAX_BPS = 1_200;
export const QUILL_REVIEW_HOURS = 1.6;
export type AcceptanceDraft = {
readonly measurable: boolean;
readonly factErrorBps: number;
readonly reworkBps: number;
readonly reviewHours: number;
};
export function gradeQuillAcceptance(
draft: AcceptanceDraft,
): Result<AcceptanceDraft> {
if (!draft.measurable) {
return fail("acceptance is not measurable");
}
if (draft.factErrorBps > QUILL_FACT_ERROR_MAX_BPS) {
return fail("fact error gate is looser than the expansion gate");
}
if (draft.reworkBps > QUILL_REWORK_MAX_BPS) {
return fail("rework gate is looser than the expansion gate");
}
if (draft.reviewHours > QUILL_REVIEW_HOURS + 1e-9) {
return fail("review time exceeds the 1.6 hour baseline");
}
return ok(draft);
}
export function qualityBalanced(): boolean {
return (
QUILL_QUALITY.onceAdoptBps +
QUILL_QUALITY.minorEditBps +
QUILL_QUALITY.reworkBps ===
10_000
);
}
export function caseName(): string {
return QUILL.name;
}
CRITERIA 是五项判据,score 按项累加,scoreBps 把总分换成基点,passes 用 80% 作为及格线。PASS_SCORE 由 MAX_SCORE 和 PASS_BPS 推出,不另行硬编码,避免改了满分却忘了改及格线。
misHire 用空白项组合识别三种误招:可判定验收和失败模式都空白,偏提示词型;失败模式和基线都空白,偏演示型;领域证据空白,偏领域游客型。识别顺序是先命中先返回,避免一个人被贴两个标签。
QUILL_QUALITY 把 B 的 63%、28%、9% 写成同一结构,qualityBalanced 验证三档相加等于 100%。gradeQuillAcceptance 检查候选人写的三条门槛:事实错误率不高于 5.0%,返工率不高于 12.0%,审改时长不超过 1.6 小时。它用近似比较处理 1.6 小时的浮点,避免严格相等带来的误差。
模型不能判断候选人是否诚实,也不能替代背景调查。它能做的是把「我觉得他不错」变成「他在哪一项拿了 0 分」,让招聘讨论有共同的刻度。
招聘的两个边界
第一条边界:面试题不能替代真实工作样本。报告题能看出判断结构,但看不出协作方式、交付习惯和抗压能力。通过面试只是进入试用期的前提,不是结论。
第二条边界:不要用同一套题招所有角色。产品、设计、工程、领域专家的判据不同;这一节的标准主要面向产品与领域交叉的岗位。工程岗要加工具面、可观测性和回滚设计,设计岗要加失败态与可打断性。
小结
- 招人看一件事:能不能把「做得好」写成可判定的验收,不看会不会调提示词。
- 五项判据:可判定验收、失败模式、基线数字、接管成本、领域证据。
- 每项 0–2 分,满分 10 分,8 分及格,与 45 项评审的 72/90 同为 80%。
- B Quill 的报告题三条门槛:事实错误率 5.0%、返工率 12.0%、审改 1.6 小时。
- 三种误招:只会调提示词、只会追演示效果、没有领域证据。
- 评分要看 0 分出现在哪一项;总分相同,能力结构可能完全不同。
- 面试题不能替代真实工作样本;不同角色要用不同判据。
阅读导航:上一节:12.2 决策会怎么开 · 下一节:13.1 五级成熟度模型 。
常见错误与边界
- 把会调提示词当核心能力。 提示词是工程手段,不是产品判断;写不出可判定验收的人,放量阶段会暴露短板。
- 只考演示效果。 演示的输入是挑过的,输出是看过的;Agent 产品的失败往往发生在没被演示覆盖的输入上。
- 不追问阈值来源。 候选人说「返工率低于 12%」时,要追问为什么不是 10% 或 15%;说不出退出线来源的人,数字是背的。
- 用总分掩盖结构。 五项总分 8 分但可判定验收是 0 分,仍然不该及格;0 分出现在哪一项,比总分更重要。
- 把领域判断外包给模型或用户。 对错标准要由领域专家签字;认为「用户会告诉我们」的人,无法定义验收。
- 一套题招所有角色。 产品、设计、工程、领域专家的判据不同;工程岗要加工具面与回滚设计,设计岗要加失败态与可打断性。
这一节回答「招人看什么」。下一章进入全书收口:用五级成熟度模型判断团队现在在哪一级,下一步该补什么。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。