中房网讯 10月18日，调研机构SemiAnalysis发文称，英伟达通过一项上游vLLM优化，让2.8万亿参数量的Kimi K3模型实现423 tok/s/user（每用户每秒每Token）的推理速度，对比相同硬件（GB300 NVL72）性能提升1.68倍。

  据介绍，该项优化通过大规模Megakernel融合，使用Cute DSL编写英伟达新推出的解码专用内核。该Megakernel包含1.2万行代码，代表着AI辅助生成高级计算内核的未来方向。