LLM-as-Judge on PlumePHP

模型评估与基准：从分类指标到 LLM-as-Judge

Sun, 27 Sep 2026 11:30:00 +0800

模型评估：分类回归指标、生成式评估、评测集构建、离线与在线评估、模型卡与持续评估流程。

AI 模型测试实战：从 LLM 输出验证到 RAG 质量评估的全链路质量工程

Sat, 26 Sep 2026 00:00:00 +0800

传统的测试方法论建立在确定性之上：同样的输入必然得到同样的输出，断言 assert x == y 是质量的黄金标准。但以 LLM 为代表的生成式 AI 模型打破了这一前提——同样的 prompt 每次调用可能返回不同的、且没有唯一正确答案的文本。assert response == "Hello" 在 AI 测试中不再有意义，取而代之的是"这段回答是否语义正确？““它是否忠实于给定的知识库？““它是否包含了偏见？"。本指南系统覆盖 LLM 输出验证、RAG 质量评估、Prompt 回归测试、模型性能与对抗性测试，以及 MLOps CI/CD 中的模型质量门禁建设。

模型评估与 LLMOps：从离线评测到生产监控的闭环体系

Sat, 26 Sep 2026 00:00:00 +0800

LLM 应用上线后的最大风险不是"跑不起来"，而是"悄悄变差"——模型升级、Prompt 改动、知识库更新都可能引入质量回归，而概率性输出让这种退化难以用传统测试发现。LLMOps 的核心是建立评估（Evaluation）与监控（Monitoring）的闭环：离线用评测集守住质量基线，在线用指标捕获漂移。本指南系统覆盖评测集设计、指标选型、LLM-as-a-Judge 可靠性、回归门禁、生产监控与成本治理的完整实践。

生成式 AI 可观测性：LLM 调用追踪、Token 成本监控、质量与安全评估

Sat, 26 Sep 2026 00:00:00 +0800

传统应用的可观测性（Metrics/Logs/Traces）在 LLM 应用面前依然成立，但要新增三个 LLM 特有的观测维度：Token 与成本（每次调用消耗多少、花了多少钱）、模型质量（回答对不对、是否幻觉、是否符合预期）、模型安全（提示注入、有害内容、PII 泄露）。大模型是"黑盒"，它的行为是概率性的——同一提示词每次输出都不同，这决定了 GenAI 可观测性不能只看"延迟和错误码"，还要看语义层面的质量与安全。本指南系统构建 GenAI 应用可观测体系：LLM 调用追踪、OTel GenAI 语义约定、成本用量监控、质量评估（LLM-as-Judge）、RAG 评估、安全监控、漂移检测与反馈回路，最后给出完整架构。