Designing an AI serving harness built to last

企业 AI 的下一个竞争优势不在于选哪个模型，而在于围绕模型构建的 serving harness——包括架构、内存管理、调度和推理优化等工程系统。文章指出应从业务负载而非模型出发确定架构，先测量再优化，找出并解决主要瓶颈（如 KV cache 随并发和上下文长度增长导致的 GPU 内存不足），避免盲目堆砌优化技术或增加算力。