⌘ K
… 读取采集状态 同步中...
雷
原文
AI HOT· noreply@aihot.news (LMSYS Blog)·· 8 天前经营分11

SGLang 原生支持 Reflection 的 Beam 并驱动其生产 API

AI 导读

SGLang 团队宣布原生支持 Reflection 的 Beam 1.0,并以其驱动 Reflection 的生产 API。该模型为 501B 参数 MoE 架构,每 token 激活 23B 参数,支持 BF16、NVFP4 和动态 FP8 检查点。实测在 4 块 NVIDIA GB300 GPU 上,SGLang 实现并发 32 时总吞吐量达 127.6K token/秒。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:AI HOT · aihot.news