tag

LLM

共 61 篇文章。

全部文章 Java Go 书稿 TypeScript 游戏开发独立开发者小游戏游戏设计 Godot 性能优化 Rust Kafka Python 游戏引擎

AI 模型测试实战：从 LLM 输出验证到 RAG 质量评估的全链路质量工程

传统的测试方法论建立在确定性之上：同样的输入必然得到同样的输出，断言 assert x == y 是质量的黄金标准。但以 LLM 为代表的生成式 AI 模型打破了这一前提——同样的 prompt 每次调用可能返回不同的、且没有唯一正确答案的文本。assert response == …

2026-09-2626 分钟阅读

LLM RAG machine-learning

llm

Agent 记忆系统实战：从上下文窗口到长期记忆的持久化架构

LLM 本身没有记忆——每次调用都从空白上下文开始。但真实的智能应用需要跨会话记住用户偏好、任务进度与历史事实。Agent 记忆系统正是为了解决"上下文是易失的、知识是永恒的"这一矛盾而生的工程领域。本指南从记忆的类型学出发，系统覆盖短期工作记忆、长期语义记忆、情景记忆与程序性记 …

2026-09-2617 分钟阅读

LLM agent memory

vLLM 深度解析：连续批处理与内存高效推理

大语言模型（LLM）推理服务的扩展性瓶颈，往往不在计算吞吐量，而在 GPU 显存。传统推理框架将 KV Cache 以连续张量形式预分配，造成大量内存浪费，导致 batch size 被严重限制。

2026-09-109 分钟阅读

vLLM LLM PagedAttention

TensorRT-LLM：大语言模型的高效推理部署

大语言模型（LLM）的推理部署是 AI 基础设施的核心挑战之一。随着模型参数量从数十亿增长到数千亿，如何在保证低延迟和高吞吐的前提下高效运行这些模型，成为生产环境的必答题。NVIDIA 推出的 TensorRT-LLM 正是为了解决这一痛点而诞生的专用推理框架。

2026-09-107 分钟阅读

NVIDIA LLM 推理引擎

LLM 推理服务架构设计：从单机到分布式集群

随着大型语言模型（LLM）从实验室走向生产环境，构建一个高吞吐、低延迟、可弹性伸缩的推理服务架构，已成为 AI 工程团队的核心命题。与传统的请求-响应式服务不同，LLM 推理具有内存占用高、计算密集、延迟不可预测等特点，这要求我们在架构设计时必须引入一套全新的技术范式。

2026-09-1010 分钟阅读

LLM 分布式微服务

KV Cache 优化与注意力机制加速：FlashAttention / PagedAttention

大型语言模型（LLM）的推理性能已经成为生产环境部署中的核心挑战。在 Transformer 架构中，自注意力机制（Self-Attention）虽然在建模长距离依赖方面表现出色，但其计算和内存开销随序列长度呈平方增长。

2026-09-1013 分钟阅读

LLM FlashAttention PagedAttention

GPTQ / AWQ / W4A16：大语言模型权重量化实战

使用 70 GB 显存才能跑一次的 Llama-2-70B，量化后可以塞进 24 GB 的消费级显卡。这不是魔法，而是大语言模型（LLM）权重量化带来的实际收益。本文将深入讲解 GPTQ、AWQ、SmoothQuant、W4A16 等主流量化方案的原理与实战，帮助你在生产环境中实现 4 倍模型压缩而

2026-09-109 分钟阅读

LLM 量化模型压缩

AI Agent 生产化部署架构：从 Prompt 工程到高可用服务

将 AI Agent 从原型 Demo 推向生产环境需要解决可靠性、延迟、成本和可扩展性四大挑战。本文系统讲解 Agent 生产化部署的完整架构：Prompt 版本管理、工具调用安全隔离、多轮对话状态持久化、流式响应与 SSE、重试降级策略、Token 预算控制，以及 LangChain、CrewAI 等框架的部署模式对比。

2026-09-0110 分钟阅读

AI Agent LLM 生产部署

python

Python + LLM 实战：OpenAI API 集成与 Agent 开发

使用 Python 集成 OpenAI / Claude / 国产大模型 API，掌握 Prompt Engineering、Function Calling、RAG 检索增强生成、LangChain / LlamaIndex 框架与 AI Agent 开发。

2026-08-1514 分钟阅读

Python LLM AI

13. 大语言模型应用开发

大语言模型 LLM 应用开发：Prompt Engineering、RAG 检索增强生成、Fine-tuning 微调、Function Calling 与 AI Agent 架构设计

2026-08-137 分钟阅读

LLM RAG agent

人工智能正在重塑软件开发与商业决策的每个环节。本专题系统覆盖传统机器学习、深度学习、自然语言处理、计算机视觉与推荐系统，从监督/无监督学习算法原理、神经网络与 CNN/RNN/Transformer 架构、BERT/GPT 大语言模型应用开发，到特征工程方法论、RAG 检索增强生成架构与评估、LoRA/QLoRA 大模型高效微调、向量数据库选型与检索优化、模型评估与基准（LLM-as-Judge）、模型压缩（量化/剪枝/蒸馏）、时序预测实战、TorchServe/Triton 推理服务化部署，以及 MLflow/DVC 实验管理、CI/CD for ML 的 MLOps 全流程工程化实践，为 AI 工程师提供从算法研究到生产落地的完整能力图谱，并扩展 LLM 推理优化（KV Cache/PagedAttention/连续批处理/量化/投机解码）、分布式训练（DDP/FSDP/ZeRO/混合精度/断点续训）、数据标注与合成数据（主动学习/数据飞轮）、MLOps 治理与可复现（模型注册/漂移监控/金丝雀发布）、Embedding 深入（对比学习/双塔架构/难负样本）与类别不平衡/异常检测实战（SMOTE/Focal Loss/隔离森林），并延伸图神经网络（消息传递/GCN/GAT/GraphSAGE/大图采样）、语音与音频（ASR/TTS/流式识别/评测）、强化学习（MDP/DQN/PPO/Actor-Critic 与 RLHF）、提示工程与上下文工程（few-shot/思维链/结构化输出/上下文压缩）、实验追踪与模型注册（MLflow/W&B/超参搜索）与因果推断（DAG/倾向得分/DID/因果 ML），并覆盖扩散模型（DDPM/DDIM/Latent Diffusion/条件控制）、智能体记忆与上下文工程（记忆分层/检索与遗忘/上下文压缩）、大模型护栏与安全工程（提示注入/越狱检测/工具沙箱）、混合专家架构（门控路由/负载均衡/容量因子）、视觉 Transformer 与自监督预训练（ViT/Swin/MAE/DINO）与联邦学习（FedAvg/通信压缩/安全聚合/差分隐私）。

2026-08-139 分钟阅读

AI ML LLM

game

AI 辅助游戏开发实战流水线：从自然语言到可玩关卡

系统讲解小游戏引擎中 AI 辅助开发的完整流水线。涵盖 LLM → JSON 关卡生成 → 场景自动搭建 → Diffusion 素材风格迁移 → 数值平衡 RLHF 的全链路实现。提供完整的 Prompt Engineering 模板、LevelGenerator / AssetStylizer 类实现、AI 工作流架构图与质量评估指标。

2026-08-087 分钟阅读

AI LLM Diffusion

testing

AI 辅助测试生成：LLM 时代的测试维护革命

测试自动化领域长期面临一个尴尬的悖论：自动化测试本应减少人工投入，但编写和维护测试代码本身却消耗了与生产代码相当甚至更多的资源。研究表明，典型项目的测试代码量与生产代码量之比通常在 2:1 到 3:1 之间，而测试代码的维护成本往往高于生产代码——因为每次功能变更都可能导致大量测试用例的同步更新。大 …

2026-01-0114 分钟阅读

LLM

saas