Agent 工具调用与 Function Calling:从零设计可控的外部能力接口
深度解析 LLM Agent 工具调用的实现原理:工具描述(Tool Schema)、参数推导、并行调用、结果消化。 涵盖 OpenAI Function Calling、Claude Tool Use、Google Function Declaration 三种主流标准,以及如何在 LangChain 中自定义工具。 附自定义工具注册器、Schema 验证、自动重试的完整代码实现。
posts
深度解析 LLM Agent 工具调用的实现原理:工具描述(Tool Schema)、参数推导、并行调用、结果消化。 涵盖 OpenAI Function Calling、Claude Tool Use、Google Function Declaration 三种主流标准,以及如何在 LangChain 中自定义工具。 附自定义工具注册器、Schema 验证、自动重试的完整代码实现。
深入探索 LLM Agent 的工作流编排模型:DAG(有向无环图)编排、状态机驱动、事件触发与暂停恢复。 涵盖 LangGraph 的图式编排、Temporal 的长任务持久化、以及事件总线驱动的异步 Agent 架构。 附完整的 LangGraph + Temporal 集成案例,含可运行代码与可视化。
LLM 应用安全与治理全链路:Prompt Injection / Jailbreak 攻击分类与多层防御、输出内容审核(OpenAI Moderation / 自定义分类器)、Ragas / deepeval / TruLens 评估框架实战、红队测试方法论、PII 检测与数据隐私保护、EU AI Act / NIST AI RMF 合规框架概述。附带可复用的 Python 安全工具代码。
LLM 推理部署全链路指南:vLLM(PagedAttention)vs TGI vs llama.cpp 选型与性能对比、GGUF/AWQ/GPTQ/FP8 量化技术详解、动态批处理与连续批处理、长上下文优化(KV Cache / FlashAttention)。附带 FastAPI + vLLM 完整服务端代码、Docker Compose 生产部署模板。
四大主流 Agent 框架深度对比:LangChain(LCEL 表达式语言)、LlamaIndex(检索优先 Agent)、CrewAI(多 Agent 协作工作流)、AutoGen(对话式多 Agent)。覆盖工具调用(Tool Use / MCP 协议)、记忆管理(短期/长时/向量记忆)、多 Agent 协作模式。附 LangChain ReAct Agent 完整代码与流式思考过程展示。
系统性讲解 LLM 参数高效微调(PEFT):LoRA / QLoRA / DoRA 原理与超参数调优、HuggingFace PEFT + TRL (SFTTrainer/DPOTrainer) 完整训练流程、Unsloth 2x 加速训练、数据集准备(Alpaca/ShareGPT)、评估与模型合并、GGUF/AWQ/ONNX 部署转换。附带可运行的训练脚本与微调 vs RAG 决策树。
五大主流向量数据库深度对比:PostgreSQL PGVector、Qdrant、Chroma、Milvus、Weaviate。从延迟、吞吐、扩展性、云托管、Python SDK 等维度提供选型矩阵,附带每种数据库的完整 Python 集成代码与性能基准数据。
系统性讲解 RAG(检索增强生成)完整架构:Embedding 模型选型(text-embedding-3/GTE/E5)、文档分块策略(固定/语义/递归重叠)、混合检索(dense+BM25)、重排序(Reranker)、LangChain vs LlamaIndex 实现对比。附带端到端 FastAPI 服务代码,基于 Qdrant + sentence-transformers。
系统性讲解 Prompt Engineering 核心技术:Zero-shot / Few-shot / Chain-of-Thought / Tree of Thoughts / ReAct 模式。OpenAI Function Calling 与 JSON Schema 结构化输出、Pydantic 解析、提示词注入防御策略,以及 LLM-as-Judge 评估框架。
深度解析主流 LLM API(OpenAI、Anthropic Claude、Google Gemini)的核心差异:认证方式、流式输出、Token 计数与预算管理、多模态输入、错误重试策略。附带完整的 FastAPI + asyncio 服务端封装代码,支持并发流式推理。
随着大语言模型(LLM)技术的快速发展,其在自然语言处理、智能客服、内容生成等领域的应用日益广泛。然而,开发高效、可靠的大语言模型应用仍面临诸多挑战,如复杂的流程编排、高维护成本、弱类型语言带来的调试困难等。
深度剖析 RAG 系统瓶颈,覆盖 HyDE/Query2Doc 查询扩展、Cross-encoder/ColBERT 重排序、Dense+Sparse+图混合检索三大优化方向。提供完整 Python 实现与端到端性能基准对比,含延迟-质量权衡矩阵。
全面解析 Prompt Injection 攻击原理,覆盖直接注入、间接注入、越狱攻击等类型,提供企业级分层防御策略(输入过滤/提示加固/输出校验/运行时沙箱),含完整 Python 防御代码与 OWASP 合规框架。
从0到1构建 AI 红队测试体系,覆盖自动化漏洞扫描、对抗样本生成、多智能体红队博弈。提供 PyRIT 和 Garak 框架实战、风险评分矩阵、CI/CD 集成方案,输出可落地的企业级安全基线。