《AI Agent 高级编程》9.3 何时该训、何时调提示：成本收益决策清单

"""「何时该训、何时调提示」决策打分：按成本/收益把五种干预排个序（启发式，非实验）。"""
from dataclasses import dataclass


@dataclass
class Scenario:
    name: str
    error_rate: float          # 当前任务失败率 0~1
    has_verifiable_reward: bool  # 是否有可自动判定的奖励信号
    labeled_data: int          # 有多少条人工标注/可用样本
    budget: str                # "低" | "中" | "高"
    latency_budget_ms: int


@dataclass
class Intervention:
    name: str
    cost: float                # 一次性/持续成本 0~1，越大越贵
    needs_data: int            # 需要多少样本才划算
    needs_reward: bool         # 是否必须有可验证奖励
    latency_add_ms: int


INTERVENTIONS = [
    Intervention("调提示", 0.05, 0, False, 0),
    Intervention("换模型", 0.30, 0, False, 0),
    Intervention("加工具/检索", 0.40, 0, False, 30),
    Intervention("SFT 微调", 0.70, 200, False, -20),
    Intervention("RL 训练", 0.95, 1000, True, -20),
]


def expected_gain(iv: Intervention, s: Scenario) -> float:
    """收益随失败率上升，但要满足前置条件（数据量 / 奖励信号）。"""
    if s.labeled_data < iv.needs_data:
        return 0.0
    if iv.needs_reward and not s.has_verifiable_reward:
        return 0.0
    base = s.error_rate * 1.0            # 可修复的错误比例上限
    if iv.name in ("SFT 微调", "RL 训练"):
        base *= 0.8                      # 训练类收益上限更高但方差大，先打 8 折
    return round(base, 3)


def score(iv: Intervention, s: Scenario) -> float:
    gain = expected_gain(iv, s)
    over = max(0, iv.latency_add_ms - s.latency_budget_ms) / 1000
    return round(gain - iv.cost - over, 3)


def rank(s: Scenario):
    rows = [(iv.name, expected_gain(iv, s), iv.cost, score(iv, s)) for iv in INTERVENTIONS]
    return sorted(rows, key=lambda r: r[3], reverse=True)


scenarios = [
    Scenario("冷启动、无标注数据", 0.35, False, 0, "低", 2000),
    Scenario("有 5k 可验证轨迹", 0.45, True, 5000, "高", 2000),
]

for s in scenarios:
    print(f"--- 场景：{s.name} ---")
    for name, gain, cost, sc in rank(s):
        print(f"  {name:12s} 收益={gain:<5} 成本={cost:<4} 净分={sc}")

--- 场景：冷启动、无标注数据 ---
  调提示          收益=0.35  成本=0.05 净分=0.3
  换模型          收益=0.35  成本=0.3  净分=0.05
  加工具/检索       收益=0.35  成本=0.4  净分=-0.05
  SFT 微调       收益=0.0   成本=0.7  净分=-0.7
  RL 训练        收益=0.0   成本=0.95 净分=-0.95
--- 场景：有 5k 可验证轨迹 ---
  调提示          收益=0.45  成本=0.05 净分=0.4
  换模型          收益=0.45  成本=0.3  净分=0.15
  加工具/检索       收益=0.45  成本=0.4  净分=0.05
  SFT 微调       收益=0.36  成本=0.7  净分=-0.34
  RL 训练        收益=0.36  成本=0.95 净分=-0.59

"""决策的敏感性：当「失败里有多少是调提示能修的」下降时，最优手段会不会变？"""
COST = {"调提示": 0.05, "换模型": 0.30, "加工具/检索": 0.40, "SFT 微调": 0.70, "RL 训练": 0.95}
COVER = {"调提示": None, "换模型": 0.70, "加工具/检索": 0.80, "SFT 微调": 0.68, "RL 训练": 0.72}


def best(error_rate, prompt_fixable, has_data, has_reward):
    rows = []
    for name, cost in COST.items():
        if name == "SFT 微调" and not has_data:
            rows.append((name, round(-cost, 3))); continue
        if name == "RL 训练" and not (has_data and has_reward):
            rows.append((name, round(-cost, 3))); continue
        cover = prompt_fixable if name == "调提示" else COVER[name]
        rows.append((name, round(error_rate * cover - cost, 3)))
    return max(rows, key=lambda r: r[1])[0]


print("失败率固定 0.5，数据与奖励都齐备：")
for pf in (0.9, 0.6, 0.3, 0.2, 0.1):
    print(f"  调提示可修比例={pf:<4} -> 最优手段={best(0.5, pf, True, True)}")
print("失败率固定 0.5，冷启动（无数据无奖励）：")
for pf in (0.9, 0.3, 0.1):
    print(f"  调提示可修比例={pf:<4} -> 最优手段={best(0.5, pf, False, False)}")

失败率固定 0.5，数据与奖励都齐备：
  调提示可修比例=0.9  -> 最优手段=调提示
  调提示可修比例=0.6  -> 最优手段=调提示
  调提示可修比例=0.3  -> 最优手段=调提示
  调提示可修比例=0.2  -> 最优手段=调提示
  调提示可修比例=0.1  -> 最优手段=换模型
失败率固定 0.5，冷启动（无数据无奖励）：
  调提示可修比例=0.9  -> 最优手段=调提示
  调提示可修比例=0.3  -> 最优手段=调提示
  调提示可修比例=0.1  -> 最优手段=换模型