生成式 AI 可观测性：LLM 调用追踪、Token 成本监控、质量与安全评估

Sat, 26 Sep 2026 00:00:00 +0800

传统应用的可观测性（Metrics/Logs/Traces）在 LLM 应用面前依然成立，但要新增三个 LLM 特有的观测维度：Token 与成本（每次调用消耗多少、花了多少钱）、模型质量（回答对不对、是否幻觉、是否符合预期）、模型安全（提示注入、有害内容、PII 泄露）。大模型是"黑盒"，它的行为是概率性的——同一提示词每次输出都不同，这决定了 GenAI 可观测性不能只看"延迟和错误码"，还要看语义层面的质量与安全。本指南系统构建 GenAI 应用可观测体系：LLM 调用追踪、OTel GenAI 语义约定、成本用量监控、质量评估（LLM-as-Judge）、RAG 评估、安全监控、漂移检测与反馈回路，最后给出完整架构。

Ai-Observability on PlumePHP

生成式 AI 可观测性：LLM 调用追踪、Token 成本监控、质量与安全评估