AIOps 异常检测：从阈值告警到机器学习根因

硬伤一：不知道"正常"的形态（高峰正常值 = 低谷异常值）
硬伤二：无法感知"相对变化"（10ms→30ms 都 < 阈值，却涨了 200%）
硬伤三：阈值拍脑袋（设松漏报、设紧噪音，每指标手设不可持续）

异常检测升级"异常的定义"：
  固定阈值 value > 200ms；动态基线 value 偏离"此刻预期" 3σ
  时间维度：预期随周期/趋势变化；上下文：量级/时长/涉及面
  多维：多指标联动判异常

3σ：均值±3 标准差（平稳）；移动平均偏移：短长期均值差过大
分位数/IQR：P99/四分位距判长尾；EWMA：指数加权查漂移
共同点：可解释、算得快、易上线，但模型简单

孤立森林：按"易孤立程度"给分，适合多维无标签
K-Means/DBSCAN：找离群簇；XGBoost/LightGBM：需标注样本
LSTM/AutoEncoder：时序强但解释性与训练成本高
原则：先简单后复杂，指标多了按价值排序

第一步：EWMA + 3σ + 分位数，覆盖 80% 场景
第二步：周期明显的加 Prophet/STL 分解
第三步：有标注样本再上监督模型
深度模型：只在前面都搞不定时用

from prophet import Prophet
import pandas as pd
m = Prophet(daily_seasonality=True, weekly_seasonality=True)
m.fit(pd.DataFrame({"ds": ts_index, "y": metric_values}))
forecast = m.predict(m.make_future_dataframe(periods=6, freq="5min"))
# 用 (yhat_upper, yhat_lower) 作为动态基线上下界

判异常：value > yhat_upper 或 < yhat_lower → 异常
注意：剔除历史故障点（否则基线被污染）；节假日传 holiday 表

Madlib（PG/Greenplum）：SQL 内时序函数（分位数/z-score），
  在数据所在地算，适合已有 PG 存量的团队
托管内置：Grafana ML、Datadog Watchdog、云监控
  内置省维护但黑盒；建议先内置跑通再考虑自建

单指标异常 → 回答"为什么"：
  时间关联：指标 A 异常前 B 已异常（先后）
  拓扑关联：上游异常 → 下游跟着异常（瀑布）
  分组关联：按实例/地域/版本分组哪个先变红
关联信号：trace 错误率、变更时间轴、日志关键词突增对齐

标准路径：异常事件 → 关联窗口（前 15m~后 5m）→ 候选列表
  → 打分排序（时序相关性/拓扑影响/变更匹配）→ Top3 + 证据链
原则：根因是"概率候选"必须给证据；变更 > 依赖 > 容量 > 代码
  结论回写（人工确认后反哺模型）

变更（发布/配置/扩容）是异常最大诱因：
  自动关联窗口内变更；版本维度看是否同一新版本；
  灰度对比新旧版本实例指标差异
落地：发布事件写进事件总线，优先列为根因候选

误报三大来源：基线不准（含故障点/没算节假日）、
  方法误用（正态套长尾/窗口太短）、无上下文（值班难判断）
代价：消耗值班注意力 → 狼来了 → 真异常被忽略（最危险）

收敛：同类异常合并成一个事件；去重：重复触发只留最新证据
聚合：多指标 + 同一根因候选 → 一个故障单
  （展示"1 个故障，4 个指标，候选根因 2 条"）

关键：误报要能"喂回去"调模型
  值班处置结果（确认/误报/升级）回标样本
  → 定期重训/调参，误报率逐月下降

衡量指标：
  精确率（报出的异常里多少是真的）、召回率
  每日告警量 vs 每日真故障量、平均处置时长 MTTA

目标：精确率优先（宁可漏不可闹），召回靠多渠道兜底

成熟 AIOps 平台 = 一条流水线：
  数据接入（指标/日志/trace/事件）
  → 异常检测（多算法多模型）
  → 事件管理（收敛/去重/关联/严重度）
  → 根因分析（拓扑+变更+时序打分）
  → 智能协同（推荐路径/处置预案）
  → 反馈闭环（人工结果回标调优）

第一步：告警做干净（1~2 月）→ 结构化、收敛去重、按 SLO 分级
第二步：异常检测试点（2~3 月）→ 5~10 个核心指标上基线
第三步：平台化 + 根因（3~6 月）→ 事件流水线、变更关联、RCA

成功关键在流程：候选必须有人确认反馈；算法与 SRE 共建；
  效果对齐误报率/MTTA，不是"上了模型就完事"
红线：异常检测不该直接自动封禁/回滚（先人工确认）

□ 先用 EWMA/3σ/分位数跑通，再上周期与监督模型
□ 动态基线用 Prophet 式"预期±置信区间"，清洗故障点、算节假日
□ 异常事件收敛、去重、聚合，减少告警风暴
□ 根因分析给"候选+证据+打分"，变更事件优先关联
□ 值班处置结果回标，误报率逐月下降
□ 用精确率/召回率/MTTA 衡量，而非"上了模型"
□ 自动化前先人工确认，从辅助走向自动
□ 三步走：告警干净 → 试点基线 → 平台化 RCA

异常检测 = 动态基线学"正常" + 关联根因找"为什么" +
误报回标治理 + 平台化沉淀，让告警从噪音变成洞察。