Embedding 深入：对比学习、双塔架构与向量检索工程
Embedding 是语义检索与 RAG 的地基，本文系统讲解对比学习原理（正负样本/InfoNCE 损失/温度系数）、双塔模型与 Sentence-Transformer 架构、Embedding 训练数据构造（难负样本/硬负样本挖掘/蒸馏）、相似度计算与归一化（余弦/点积/内积+缩放）、向量索引与量化、维度与多模态对齐、以及生产调优（批次内负样本/温度/距离度量）的完整方法论。
category
ai
共 143 篇文章。
MCP 记忆与持久化工具：让 Agent 拥有长期记忆
MCP 记忆与持久化工具设计：Agent 记忆的类型（短期/长期/语义/程序性）、记忆工具的模式（写入/检索/删除）、向量记忆与语义检索、结构化的记忆图谱（实体/关系）、跨会话持久化的实现（存储后端/一致性）、记忆的隐私与治理、记忆工具的上下文管理与性能，以及记忆错误（幻觉/过期/冲突）的防护。
MLOps 治理与可复现：模型注册、漂移监控与合规
模型上线不是终点，本文系统讲解模型注册表（版本/元数据/审批/回滚）、实验跟踪与可复现（数据集-代码-超参锁定）、数据漂移与概念漂移检测（PSI/KS/统计检验/无监督检测）、模型漂移监控与告警、金丝雀发布与灰度回滚、以及 AI 合规治理（模型卡/审计/偏见评估）的完整工程方法论。
MCP 工具调用可靠性：超时、重试与长任务
MCP 工具调用的可靠性工程：工具调用的失败模式（超时/依赖故障/幂等破坏）、超时设置与客户端策略、重试与退避、幂等工具设计（幂等键/去重）、长任务处理（进度通知/异步完成/可取消）、工具调用的背压与并发控制、失败后模型的降级路径，以及可靠性测试与可观测性。
数据工程进阶：标注体系、合成数据与数据飞轮
模型上限由数据决定，本文系统讲解标注任务设计（分类/抽取/对齐/评测）、标注质量保障（一致性/争议裁决/抽样复核）、主动学习与弱监督、合成数据生成（LLM 蒸馏/自我修正/场景合成）、数据飞轮的闭环设计（线上反馈回流/困难样本挖掘）、以及数据治理与合规的完整工程方法论。
MCP 远程传输与部署：Streamable HTTP 与服务器托管
MCP 远程传输与部署实战：从本地 stdio 到远程服务器的演进、Streamable HTTP 传输（流式/非流式）、SSE 传输模式对比、无状态 vs 有状态会话、远程服务器的鉴权与安全、服务器托管与网关、传输选择决策（本地进程/局域网/公网 SaaS）、生产部署的可靠性与多客户端并发。
分布式训练实战：DDP、FSDP、ZeRO 与大规模训练工程
大模型训练离不开多卡分布式，本文系统讲解 DDP 数据并行原理与 AllReduce、混合精度训练（FP16/BF16）、梯度累积与梯度裁剪、ZeRO 分片（ZeRO-1/2/3）、FSDP 全分片数据并行、张量并行与流水线并行、checkpoint 与断点续训、以及分布式训练排错（NCCL 超时/OOM/收敛异常）的完整工程方法论。
MCP 协议深入：JSON-RPC 2.0 与消息语义
深入 MCP 协议底层：JSON-RPC 2.0 在 MCP 中的落地、请求/响应/通知三类消息、id 语义与错误码规范、消息帧与批量、MCP 方法命名空间（initialize/tools/call/resources/read）、协议能力协商（protocolVersion/capabilities）、服务器与客户端握手流程、扩展协议边界与版本演进。
LLM 推理优化全栈指南：从 KV Cache 到投机解码
大模型部署的成本与延迟由推理优化决定，本文系统讲解自回归生成的内存瓶颈、KV Cache 原理与显存计算公式、PagedAttention 与连续批处理、GPTQ/AWQ/INT8 权重量化、投机解码与并行生成、前缀缓存与 Prompt 优化、TTFT/TPOT/ITL 指标，以及 vLLM/TensorRT-LLM/llama.cpp 框架选型与生产容量规划的完整方法论。
NCCL 集合通信：AllReduce、Ring 算法与多卡推理的通信优化
多卡推理的吞吐天花板往往不在算力，而在 GPU 之间的通信。NCCL 是 NVIDIA 的集合通信库：AllReduce/AllGather/Reduce-Scatter 原语、Ring 与 Tree 算法、NVLink/RDMA 互连、拓扑感知与超节点。本文把 NCCL 讲透：通信原语怎么选、算法怎么收敛、拓扑怎么感知，以及多卡推理（张量并行）的通信优化实战。
LLM 推理性能调优实战：从瓶颈定位到端到端优化的检查清单
LLM 推理的性能问题往往不是单一原因，而是一连串「小瓶颈」叠加。本文给出一份实战调优检查清单：先量化目标（吞吐/延迟/成本），再逐层定位瓶颈（显存/计算/带宽/调度），然后按优先级实施优化（解码策略/前缀缓存/融合/量化/批调度），最后用基准测试验证——从定位到优化的完整闭环。
Serverless 推理：无服务器 LLM 推理、冷启动优化与 GPU 弹性
Serverless 推理把「模型部署」变成「按调用计费的 API」：无 GPU 预置、按需拉起、闲置自动回收。本文系统讲解 Serverless 推理的架构、冷启动的瓶颈与优化（模型缓存/容器预热/两阶段拉起）、GPU 弹性的调度（实例池/水位线/碎片整理）、与常驻推理的选型，以及生产落地的成本账与稳定性。
FP8 推理：8 位浮点量化、E4M3/E5M2 与 NVIDIA FP8 生态
FP8 是下一代推理量化的主角：8 位浮点以接近 FP16 的动态范围与减半的显存带宽，在 H100/GH200 上原生加速。本文系统讲解 FP8 格式（E4M3/E5M2）、与 INT8 的取舍、量化与反量化流程、训练后量化（PTQ）与量化感知训练（QAT）、NVIDIA FP8 生态落地，以及推理精度与性能的权衡。
AI 编译器：TVM、MLIR 与 torch.compile 的算子编译优化
AI 编译器把「计算图」编译成「针对特定硬件的高效代码」——从图优化、算子融合到代码生成与后端调度。本文系统讲解 TVM、MLIR、torch.compile 三大编译栈的原理、IR 层级、调度原语、后端代码生成，以及如何在推理生产中落地。
投机采样（Speculative Decoding）：草案模型、并行验证与加速原理
投机采样（Speculative Decoding）是当前 LLM 推理延迟优化的核心技术——用一个小草案模型快速生成候选 token，再用大模型一次并行验证多个候选，单步接受多个 token，显著降低自回归解码的串行延迟。
MCP 资源模板与订阅：URI 模板、ListChanged 通知与上下文注入
系统讲解 MCP Resources 的进阶机制：Resource Template（URI 模板）与动态资源、resources/listChanged 订阅通知、资源读取与内容协商、资源如何注入 LLM 上下文、与 Tools 和 Prompts 的协同，以及资源缓存与失效策略。
MCP 的 OAuth 鉴权与会话：动态注册、PKCE 与令牌轮换
系统讲解 MCP 的 OAuth 2.0 鉴权与会话管理：授权码流程 + PKCE、动态客户端注册（RFC 7591）、访问/刷新令牌与轮换、多 Server 的鉴权协调、令牌存储与安全边界，以及无 OAuth（本地 stdio）与远程场景的鉴权选型。
MCP 服务器测试框架：in-memory 传输、协议断言与端到端测试
系统讲解 MCP 服务器测试：in-memory 传输的单元测试、工具/资源/提示词行为的协议级断言、客户端模拟与请求驱动、端到端测试（stdio/HTTP 传输）、错误与超时测试，以及测试金字塔与 CI 集成。
MCP 客户端 SDK 深入：TypeScript 客户端 API、传输状态机与错误处理
系统讲解 MCP 客户端 SDK 的内部机制：TypeScript SDK 的 Client 类与协议状态机、connect/callTool/readResource 全生命周期、streamable 传输的连接管理、请求-响应与通知处理、并发调用与超时控制、错误分类与重试策略，以及 Python SDK 的对应实现。
MCP 与 LLM Agent 编排模式：多 Agent 协作、工具路由与状态传递
系统讲解基于 MCP 的 LLM Agent 编排：多 Agent 协作模式（编排者-工作子、流水线、群聊）、工具选择与路由策略、并行/串行与循环执行、跨步骤状态传递（上下文 + 结果缓存）、编排反模式，以及多 MCP 服务器的资源调度与失败恢复。