跳到正文
PyTorch Blog· Ishan Dhanani, Jamie Li, Karen Chung·原文发布· 7 天前AI 评分48

基于 NVIDIA Dynamo 的会话感知智能体推理

Session-Aware Agentic Inference with NVIDIA Dynamo

AI 导读

NVIDIA Dynamo 用统一的会话级标识符(session_id / parent_session_id)把请求级推理服务改造成程序感知系统,实现会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的编程式缓存迁移。

本站提供 AI 导读,完整报道请前往来源网站阅读。

阅读原文 PyTorch Blog · pytorch.org