端侧推理：移动端与浏览器部署
端侧 LLM 部署全解：iOS Core ML 与 MLX、Android NNAPI 与 Vulkan、浏览器 WebGPU 与 WASM SIMD 三条路线，涵盖模型格式与量化档位选型、内存水位与热降频管理、端云协同架构、性能实测数据与优化清单。
tag
LLM
共 61 篇文章。
长上下文优化：注意力稀疏化与 KV Cache 管理
深入长上下文优化的三条主线：注意力稀疏化（滑动窗口、注意力汇、H2O 驱逐）、KV Cache 管理（PagedAttention、前缀共享、KV 量化）与位置编码外推（RoPE scaling / YaRN），附显存计算、配置参数与评估方法。
实时语音 Agent：全双工对话与低延迟链路
拆解实时语音 Agent 的完整低延迟链路：VAD 端点检测、流式 ASR、LLM 首 token 优化、流式 TTS 与打断（Barge-in）实现，给出端到端延迟预算表、WebRTC 与 WebSocket 传输选型、全双工状态机代码与容量规划。
模型量化与蒸馏：INT8/INT4 与部署权衡
系统讲解 LLM 量化与蒸馏：对称/非对称量化、per-channel 与 group-wise 粒度、GGUF/AWQ/GPTQ/NF4/FP8 格式对比，给出 llama.cpp 与 AutoAWQ 的实操命令，以及知识蒸馏、剪枝与组合压缩的部署权衡与评估方法。
结构化输出与受限解码：JSON Schema 与语法约束
讲透 LLM 结构化输出：从 Prompt 约束、Function Calling 到受限解码（Constrained Decoding），解析 JSON Schema 编译为 GBNF/EBNF 语法的过程，给出 Outlines、XGrammar、llama.cpp、vLLM 的实战配置与性能开销数据。
AI 代码审查与 PR 助手集成
系统讲解把 AI 代码审查接入 GitHub Actions 的工程方案，涵盖 LLM 驱动的 PR 评论机器人构建、diff 提取与分块、上下文注入、主流审查工具集成、token 成本与延迟控制、提示注入防护以及 AI 建议与人工审查的协同门禁。
Clojure 集成大语言模型
Clojure 集成大语言模型的完整工程实践：多供应商 API 封装与 SSE 流式解析、core.async 管道编排与背压、工具调用与结构化输出校验、向量检索与 RAG 拼装、token 计量与并发限流、两级缓存去重，以及可观测指标与评测回放方法。
工作流与 AI Agent 编排
本文讲解如何用工作流引擎编排 AI Agent，回答哪些步骤该确定哪些该交给模型、Agent 循环与工作流如何取舍、非确定性步骤怎么做幂等。覆盖确定性与非确定性边界、工具调用与副作用隔离、持久化执行下的 LLM 步骤、人工审批节点、成本与延迟控制、多 Agent 协作、失败降级、评估与提示词版本化、安全与可观测，并给出可运行代码。
大模型推理服务与优化：KV Cache、PagedAttention、连续批处理与量化部署
把大模型高效地服务出去：KV Cache 的显存账本与碎片问题、PagedAttention 的分页管理、连续批处理如何把吞吐拉高数倍、vLLM/TGI/SGLang 的选型对比、INT8/FP8/AWQ/GPTQ 量化部署、投机解码的加速原理、吞吐与延迟的权衡曲线，以及压测方法与容量规划公式。
TS 中的 LLM 应用开发：AI SDK、流式响应、工具调用与类型安全
系统讲解用 TypeScript 构建 LLM 应用：LLM 应用的类型挑战、Vercel AI SDK 核心抽象、流式响应与增量解析、结构化输出与 schema 校验、工具调用与函数类型、多轮对话状态管理、多提供商抽象与模型路由、RAG 与向量检索类型、错误重试与成本控制，以及生产实践。
AI 网关与模型路由：多模型统一入口、fallback、限流与成本控制
AI 网关与模型路由深度实战：多模型统一入口的抽象层、按任务/成本/延迟的路由策略、fallback 与故障转移、限流与配额管理、成本核算与观测，以及在边缘函数和 Vercel 上搭建 AI 网关的落地路径。
大模型微调实战：LoRA、QLoRA 与指令数据构造全流程
从原理到落地讲透大模型微调：LoRA 低秩适配与 QLoRA 4bit 量化的数学直觉、指令数据构造与 chat template 格式化、关键超参与显存账本、PEFT 训练循环、权重合并与 vLLM 部署，以及评测与灾难性遗忘的排查清单。
GraphQL 与 LLM/Agent 集成：工具调用、结构化输出与 MCP 对比
GraphQL 与 LLM/Agent 集成深度：Function Calling 工具定义、结构化输出、Schema 作为工具契约、GraphQL MCP Server 与 MCP 协议对比，帮助 AI 应用安全高效地调用数据层。
推理增强技术工程化：CoT/ToT/ReAct
模型能力的一半在参数里，另一半在提示与流程设计里。同一个模型，直接问“这道数学题怎么解”可能答错，让它“一步步思考”正确率就显著上升——这就是推理增强技术的价值：不改变模型权重，只改变推理的外在形式。从思维链（Chain of Thought）到自洽性采样（Self-Consistency）、思维树 …
AI 智能体与可观测性：MCP 工具接入与智能排障
深度讲解 AI 智能体如何通过 MCP 协议接入可观测性数据：智能体需要什么观测数据、MCP 工具与 schema 定义、让 Agent 查询指标/日志/trace（PromQL 沙箱/日志检索/trace 分析）、结构化工具响应与置信度、权限与安全边界（只读/范围/审计）、从辅助排障到自动修复的落地路线。
模型路由与选型：大小模型分层调度
面对市面上从几十亿参数的小模型到上千亿参数的旗舰模型，一个自然的问题是：所有请求都该用最强模型吗？ 答案是显而易见的否定——但更关键的问题是：如何系统化地决定“这个请求该用哪个模型”？模型路由（Model Routing）把这个问题从“人拍脑袋”变成“可编程的调度决策”：按任务复杂度、质量要求、成本 …
小程序 AI 能力集成实战
系统讲解小程序 AI 能力集成：OCR 与图像识别、语音识别与合成、大模型接口接入与服务端调度、前端流式体验设计，以及内容安全与合规边界，帮助开发者在小程序中安全高效地落地 AI 功能。
混合检索 RAG：BM25 与向量融合
只靠向量检索的 RAG 有一个结构性弱点：语义相近不等于字面匹配。用户搜“怎么退订会员”，向量检索能抓到“取消订阅”的语义文档，却常常漏掉只在正文里出现“退订 扣费 别再续”这种字面表述的条款。反过来，关键词检索（BM25）擅长精确字面命中，却对“用户说的”与“文档写的”之间的语义鸿沟无能为力。混合 …
LLM 服务可观测性：吞吐、时延、token 与成本监控
LLM 推理服务没有可观测性就像盲人开车：TTFT、TPOT、吞吐、token 计量、GPU 利用率、链路追踪与成本核算缺一不可。本文给出从指标定义到看板、压测、告警的完整方法论。
Node.js LLM 集成实战：OpenAI 与 Anthropic
完整讲解 Node.js 接入大语言模型：OpenAI 与 Anthropic SDK 调用、流式输出 SSE、超时重试与指数退避、提示词工程与结构化输出、令牌与成本控制，以及把 LLM 调用异步任务化的工程实践。