端侧推理：移动端与浏览器部署
端侧 LLM 部署全解：iOS Core ML 与 MLX、Android NNAPI 与 Vulkan、浏览器 WebGPU 与 WASM SIMD 三条路线，涵盖模型格式与量化档位选型、内存水位与热降频管理、端云协同架构、性能实测数据与优化清单。
category
llm
共 38 篇文章。
RAG 评估体系：召回、忠实度与自动化指标
构建可落地的 RAG 评估体系：检索侧 Recall@k / MRR / NDCG、生成侧 Faithfulness / Answer Relevance / Context Precision，Ragas 实战代码、LLM-as-Judge 的偏差与校准、评估集构建与在线 A/B 方法。
长上下文优化：注意力稀疏化与 KV Cache 管理
深入长上下文优化的三条主线：注意力稀疏化（滑动窗口、注意力汇、H2O 驱逐）、KV Cache 管理（PagedAttention、前缀共享、KV 量化）与位置编码外推（RoPE scaling / YaRN），附显存计算、配置参数与评估方法。
实时语音 Agent：全双工对话与低延迟链路
拆解实时语音 Agent 的完整低延迟链路：VAD 端点检测、流式 ASR、LLM 首 token 优化、流式 TTS 与打断（Barge-in）实现，给出端到端延迟预算表、WebRTC 与 WebSocket 传输选型、全双工状态机代码与容量规划。
模型量化与蒸馏：INT8/INT4 与部署权衡
系统讲解 LLM 量化与蒸馏：对称/非对称量化、per-channel 与 group-wise 粒度、GGUF/AWQ/GPTQ/NF4/FP8 格式对比，给出 llama.cpp 与 AutoAWQ 的实操命令，以及知识蒸馏、剪枝与组合压缩的部署权衡与评估方法。
结构化输出与受限解码：JSON Schema 与语法约束
讲透 LLM 结构化输出：从 Prompt 约束、Function Calling 到受限解码（Constrained Decoding），解析 JSON Schema 编译为 GBNF/EBNF 语法的过程，给出 Outlines、XGrammar、llama.cpp、vLLM 的实战配置与性能开销数据。
推理增强技术工程化：CoT/ToT/ReAct
模型能力的一半在参数里，另一半在提示与流程设计里。同一个模型，直接问“这道数学题怎么解”可能答错，让它“一步步思考”正确率就显著上升——这就是推理增强技术的价值：不改变模型权重，只改变推理的外在形式。从思维链（Chain of Thought）到自洽性采样（Self-Consistency）、思维树 …
模型路由与选型：大小模型分层调度
面对市面上从几十亿参数的小模型到上千亿参数的旗舰模型，一个自然的问题是：所有请求都该用最强模型吗？ 答案是显而易见的否定——但更关键的问题是：如何系统化地决定“这个请求该用哪个模型”？模型路由（Model Routing）把这个问题从“人拍脑袋”变成“可编程的调度决策”：按任务复杂度、质量要求、成本 …
混合检索 RAG：BM25 与向量融合
只靠向量检索的 RAG 有一个结构性弱点：语义相近不等于字面匹配。用户搜“怎么退订会员”，向量检索能抓到“取消订阅”的语义文档，却常常漏掉只在正文里出现“退订 扣费 别再续”这种字面表述的条款。反过来，关键词检索（BM25）擅长精确字面命中，却对“用户说的”与“文档写的”之间的语义鸿沟无能为力。混合 …
LLM 输出护栏与内容安全
LLM 应用里，输入可以经过精心设计的 Prompt 来约束，但输出是不可穷举的——同一个问题，模型今天答得合规，明天换了版本或换了语境就可能“越界”。输出侧的风险比输入侧更隐蔽：不是攻击者注入，而是模型自己生成的内容触碰了底线。这些底线包括格式错误（JSON 解析失败）、敏感信息泄漏（回答里带出别 …
LLM 成本治理与 Token 优化
LLM 应用上线的第一周往往没有人关心成本，第三个月账单寄来时才发现一个问答功能每月烧掉数千美元。成本的失控不是发生在单次调用，而是发生在规模放大之后：同样的功能，调用量从每天 100 次涨到 10 万次，每一次多花的几厘钱都会放大为巨额账单。LLM 成本治理的目标不是“省钱省到影响质量”，而是在质 …
LLM 流式输出与实时交互工程
人类对“等待”的耐心是有限的：当用户发出一个问题，超过 3 秒没有反馈，流失率就会显著上升。LLM 应用因此把“生成中”的状态转化为体验的一部分——流式输出让模型一个字一个字地“打字”，用户感受到的不是等待，而是思考的进行。但流式不是简单地把 HTTP 响应切成小块。它牵扯协议选型、增量解析、中断语 …
模型评估与 LLMOps：从离线评测到生产监控的闭环体系
LLM 应用上线后的最大风险不是"跑不起来"，而是"悄悄变差"——模型升级、Prompt 改动、知识库更新都可能引入质量回归，而概率性输出让这种退化难以用传统测试发现。LLMOps 的核心是建立评估（Evaluation）与监控（Monitoring）的闭环： …
上下文工程实战：从上下文窗口到长上下文管理的工程体系
随着模型上下文窗口从 4K 一路扩张到 200K、甚至 1M，一个反直觉的结论浮现：更大的窗口不等于更好的回答。研究与实践反复证明，Long Context 存在"迷失在中间（Lost in the Middle）“效应——模型对输入中间部分关注不足，且海量无关上下文会稀释关键 …
LLM 语义缓存与模型路由：成本治理的两大杠杆
LLM API 调用既慢又贵：单次调用延迟数百毫秒、成本随 token 线性增长，高频请求的重复计算纯粹是浪费。语义缓存与模型路由是控制 LLM 成本与延迟的两大杠杆——前者让"相似的问题"复用答案，后者让"简单的问题"用便宜模型。但二者都面临同一个陷阱：省钱 …
GraphRAG 实战：从向量检索到知识图谱增强检索
传统 RAG 用向量相似度检索文档片段，但在回答"谁和谁有关系"“某事件的完整影响链"这类需要多跳推理的问题时力不从心——关键信息可能分散在不同文档里，向量检索只能局部命中。GraphRAG 将知识表示为实体-关系图谱，用图遍历补足向量检索缺失的关联推理能力 …
Embedding 与 Reranker 深度调优：检索质量的决定性引擎
RAG 系统的质量上限由检索器决定：检索不到关键文档，再强的 LLM 也只能基于错误或残缺的信息作答。而检索质量的核心引擎是 Embedding（召回）+ Reranker（精排） 的两段式架构——Embedding 用极快的向量检索从百万文档中捞出 Top-100 候选，Reranker 再用精确 …
Agent 记忆系统实战：从上下文窗口到长期记忆的持久化架构
LLM 本身没有记忆——每次调用都从空白上下文开始。但真实的智能应用需要跨会话记住用户偏好、任务进度与历史事实。Agent 记忆系统正是为了解决"上下文是易失的、知识是永恒的"这一矛盾而生的工程领域。本指南从记忆的类型学出发，系统覆盖短期工作记忆、长期语义记忆、情景记忆与程序性记 …
AI Agent 产品设计方法论：从交互范式到产品落地的完整框架
系统拆解 AI Agent 产品设计的完整方法论体系：从工具思维到 Agent 思维的范式迁移、五大核心组件 UX 设计、四种交互模式（Chat/Copilot/Autonomous/Hybrid）、分层记忆系统设计、可靠性工程与容错策略、多智能体编排的 UX 挑战、信任与可解释性设计。 涵盖 ReAct、Plan-and-Solve、Reflexion、DEPS 四大设计模式的适用场景，以及 Devin、AutoGPT、Claude Computer Use 三个经典案例的产品分析。 附 Agent 产品评估矩阵、自主度光谱模型与伦理安全护栏设计框架。
大模型本地部署与私有托管：从 Ollama 到 vLLM 生产级推理集群
全面指南：本地部署 LLM 的核心动机（隐私/成本/合规/延迟）、Ollama 一键部署与自定义 Modelfile、llama.cpp / llamafile CPU 推理优化、vLLM 生产级 GPU 服务、TGI 与 HuggingFace 生态集成、GGUF/AWQ/GPTQ/FP8 量化方案选型、LocalAI / LM Studio / GPT4All 自托管方案、CPU vs GPU 硬件需求与 VRAM 估算公式、OpenAI 兼容 API 集成模式、私有模型安全加固策略。包含完整 Docker Compose 模板、基准测试数据与实践命令。