LLM 输出护栏与内容安全
LLM 应用里，输入可以经过精心设计的 Prompt 来约束，但输出是不可穷举的——同一个问题，模型今天答得合规，明天换了版本或换了语境就可能“越界”。输出侧的风险比输入侧更隐蔽：不是攻击者注入，而是模型自己生成的内容触碰了底线。这些底线包括格式错误（JSON 解析失败）、敏感信息泄漏（回答里带出别 …
tag
LLM
共 61 篇文章。
MoE 混合专家推理：路由、负载均衡与显存策略
MoE（混合专家）用稀疏激活换参数容量：推理时每个 token 只经过 Top-K 个专家。本文讲透 MoE 的推理特性——路由、负载均衡、专家并行、激活内存与显存策略，以及多机推理的性能与成本权衡。
LLM 成本治理与 Token 优化
LLM 应用上线的第一周往往没有人关心成本，第三个月账单寄来时才发现一个问答功能每月烧掉数千美元。成本的失控不是发生在单次调用，而是发生在规模放大之后：同样的功能，调用量从每天 100 次涨到 10 万次，每一次多花的几厘钱都会放大为巨额账单。LLM 成本治理的目标不是“省钱省到影响质量”，而是在质 …
Prefill/Decode 分离与连续批处理：吞吐与延迟的平衡
Prefill 计算密集、Decode 带宽受限，两种阶段在同一个 GPU 上互相拖累。连续批处理与 Chunked Prefill 让请求动态进出批次，再进一步把 Prefill 与 Decode 物理分离，是吞吐与延迟平衡的完整方法论。
LLM 流式输出与实时交互工程
人类对“等待”的耐心是有限的：当用户发出一个问题，超过 3 秒没有反馈，流失率就会显著上升。LLM 应用因此把“生成中”的状态转化为体验的一部分——流式输出让模型一个字一个字地“打字”，用户感受到的不是等待，而是思考的进行。但流式不是简单地把 HTTP 响应切成小块。它牵扯协议选型、增量解析、中断语 …
LLM 内容生成与辅助创作：AI 写帖、续写摘要与内容供应链
系统覆盖微型博客平台的 LLM 内容生成能力：生成能力全景（写帖/续写/摘要）、提示词编排与结构化创作管线、生成内容的质量控制与审核、改写润色与人味化、生成系统架构（请求编排/缓存/降级）、AI 稿进入发布流的内容供应链、版权与合规边界、AI 内容水印与可溯源、以及 AI 内容与社区生态的浓度控制与治理，帮助平台在不牺牲社区质量的前提下用好大模型。
MCP 与 LLM Agent 编排模式：多 Agent 协作、工具路由与状态传递
系统讲解基于 MCP 的 LLM Agent 编排：多 Agent 协作模式（编排者-工作子、流水线、群聊）、工具选择与路由策略、并行/串行与循环执行、跨步骤状态传递（上下文 + 结果缓存）、编排反模式，以及多 MCP 服务器的资源调度与失败恢复。
Lua 与 AI/LLM：Agent 脚本、NPC 智能与动态内容
探索 Lua 在 AI 时代的角色：Lua 作为 Agent 脚本语言与 LLM 调用封装、基于协程的多步工作流编排、游戏 NPC 行为树与 LLM 驱动动态内容生成，以及成本、延迟与安全的工程实践。
量化感知训练（QAT）与量化微调：伪量化、STE 与 QLoRA 实战
训练后量化（PTQ）在精度敏感场景常常失手，量化感知训练（QAT）则让模型在训练阶段就『学会』适应量化噪声，是工业界把 INT8 精度损失压到 1% 以内的关键手段。本文从伪量化算子与直通估计器（STE）讲起，给出 QAT 完整流程，讲解蒸馏+量化组合，并深入 LoRA 量化微调（QLoRA）与工业实践。一、QAT 背景与动机
推理基准与压测：TTFT、ITL、TPOT 指标与容量规划实战
『我的推理服务到底能扛多大流量？』『加一张卡值不值？』『P99 为什么这么差？』这些问题都需要一套科学的基准测试方法。本文讲解 LLM 推理的核心性能指标 TTFT / ITL / TPOT，分析延迟与吞吐曲线，演示 LLM Perf 与 Locust 两类压测工具，最后给出容量规划与成本建模的完整方法。一、推理性能指标体系
大模型高效微调：从全参微调到 LoRA/QLoRA 与 DPO
全参数微调大语言模型在显存、数据与工程成本上都不现实，参数高效微调（PEFT）成为主流选择。本文系统讲解微调技术全景：全参微调的局限、LoRA 低秩分解原理与实现、QLoRA 的 4bit 量化与嵌套量化、Adapter 与 Prefix Tuning、微调数据构造与合成、训练超参配置、评测与过拟合防护，以及 SFT 与 DPO 两条对齐路线的工程实践对比。
RAG 架构全景：从检索增强生成到 Agentic RAG 的生产实践
RAG（检索增强生成）已成为大语言模型接入私有知识库的主流范式，但朴素 RAG 在召回率、相关性排序与评估层面存在系统性短板。本文系统讲解 RAG 架构全景：文档切分与索引策略、查询路由与改写、混合检索（稀疏+密集+BM25）、Cross-Encoder Reranker 重排序、生成阶段上下文组装，以及基于 RAGAS 的评估体系与 Agentic RAG 的生产调优。
分布式推理与 GPU 集群调度：张量并行、流水并行与调度器实战
当单卡放不下一个 70B 模型，或单卡无法满足线上吞吐时，分布式推理就从『可选优化』变成『必选项』。本文系统讲解张量并行、流水线并行与专家并行三大策略的通信代价与适用场景，介绍连续批处理在集群中的落地，并深入 KServe 与 Ray Serve 两类 GPU 调度器的架构与配置。一、为什么需要分布式推理
多模态推理实战：从图像 Token 化到视觉语言模型联合推理
大语言模型的文本能力已经被充分挖掘，而让模型『看懂图』的多模态推理，正在成为企业级应用的新战场：文档解析、商品识别、自动驾驶、智能客服。本文从图像如何变成 Token 讲起，深入视觉语言模型（VLM）的联合推理机制、多模态 KV Cache 显存管理，再到生产级多模态推理服务部署。一、从单模态到多模态：VLM 推理的挑战
生成式 AI 可观测性：LLM 调用追踪、Token 成本监控、质量与安全评估
传统应用的可观测性（Metrics/Logs/Traces）在 LLM 应用面前依然成立，但要新增三个 LLM 特有的观测维度：Token 与成本（每次调用消耗多少、花了多少钱）、模型质量（回答对不对、是否幻觉、是否符合预期）、模型安全（提示注入、有害内容、PII 泄露）。大模型是"黑盒 …
模型评估与 LLMOps：从离线评测到生产监控的闭环体系
LLM 应用上线后的最大风险不是"跑不起来"，而是"悄悄变差"——模型升级、Prompt 改动、知识库更新都可能引入质量回归，而概率性输出让这种退化难以用传统测试发现。LLMOps 的核心是建立评估（Evaluation）与监控（Monitoring）的闭环： …
上下文工程实战：从上下文窗口到长上下文管理的工程体系
随着模型上下文窗口从 4K 一路扩张到 200K、甚至 1M，一个反直觉的结论浮现：更大的窗口不等于更好的回答。研究与实践反复证明，Long Context 存在"迷失在中间（Lost in the Middle）“效应——模型对输入中间部分关注不足，且海量无关上下文会稀释关键 …
LLM 语义缓存与模型路由：成本治理的两大杠杆
LLM API 调用既慢又贵：单次调用延迟数百毫秒、成本随 token 线性增长，高频请求的重复计算纯粹是浪费。语义缓存与模型路由是控制 LLM 成本与延迟的两大杠杆——前者让"相似的问题"复用答案，后者让"简单的问题"用便宜模型。但二者都面临同一个陷阱：省钱 …
GraphRAG 实战：从向量检索到知识图谱增强检索
传统 RAG 用向量相似度检索文档片段，但在回答"谁和谁有关系"“某事件的完整影响链"这类需要多跳推理的问题时力不从心——关键信息可能分散在不同文档里，向量检索只能局部命中。GraphRAG 将知识表示为实体-关系图谱，用图遍历补足向量检索缺失的关联推理能力 …
Embedding 与 Reranker 深度调优：检索质量的决定性引擎
RAG 系统的质量上限由检索器决定：检索不到关键文档，再强的 LLM 也只能基于错误或残缺的信息作答。而检索质量的核心引擎是 Embedding（召回）+ Reranker（精排） 的两段式架构——Embedding 用极快的向量检索从百万文档中捞出 Top-100 候选，Reranker 再用精确 …