英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较 2026-10-18 13:41:46 Author: blog.upx8.com(查看原文) 阅读量:0 收藏

调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较此前提升 1.68 倍。

该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核。此外，英伟达正同步开展针对 DeepSeek V4.1 等其他模型的优化工作。

—— IT之家


文章来源: https://blog.upx8.com/%E8%8B%B1%E4%BC%9F%E8%BE%BE%E4%BC%98%E5%8C%96-Kimi-K3-%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E9%80%9F%E5%BA%A6-%E6%8F%90%E5%8D%87-1-68-%E5%80%8D
如有侵权请联系:admin#unsafe.sh