⌘ K
… 读取采集状态 同步中...
雷
原文
AI HOT· noreply@aihot.news (vLLM 官方博客)·· 8 天前经营分24

vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化,单 GPU 吞吐超 NVIDIA HGX B300 24.4%

AI 导读

vLLM 优化后,Kimi K3 在八卡 AMD Instinct MI355X 上每 GPU 吞吐比 NVIDIA HGX B300 高 24.4%,每美元 token 数多 87.4%。该基准基于 50 tokens/s/用户 P90 交互性,通过缓存复用、MoE 优化及内核融合消除重复工作。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:AI HOT · aihot.news