AWS Machine Learning Blog· Shantanu Tripathi·原文发布· 3 小时前AI 评分53
SageMaker Inference 支持 Multi-Instance GPU 分区，提升模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 推出 GPU 分区功能，基于 NVIDIA MIG 将物理 GPU 划分为硬件隔离的分区，支持在 P4d、P5、G7、G7e 实例上把多个模型部署到同一 GPU。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 AWS Machine Learning Blog · aws.amazon.com