Model-Routing

LLM API 调用既慢又贵：单次调用延迟数百毫秒、成本随 token 线性增长，高频请求的重复计算纯粹是浪费。语义缓存与模型路由是控制 LLM 成本与延迟的两大杠杆——前者让"相似的问题"复用答案，后者让"简单的问题"用便宜模型。但二者都面临同一个陷阱：省钱 …