tag

基准测试

共 2 篇文章。
全部文章GoGolangGodotTutorialRustSaaSRust TutorsLuaPrd游戏客户端Long Term Novel Writing ExperienceSpore Trilogy Creative Writing Notes孢子三部曲孢子三部曲创作手记回顾
ai

推理基准与压测:TTFT、ITL、TPOT 指标与容量规划实战

『我的推理服务到底能扛多大流量?』『加一张卡值不值?』『P99 为什么这么差?』这些问题都需要一套科学的基准测试方法。本文讲解 LLM 推理的核心性能指标 TTFT / ITL / TPOT,分析延迟与吞吐曲线,演示 LLM Perf 与 Locust 两类压测工具,最后给出容量规划与成本建模的完整方法。一、推理性能指标体系

8 分钟阅读
基准测试 压测 LLM