10 月 11 日，由沐曦股份、SGLang 与模速空间联合举办的 「AI Infra 开源共创 · 推理引擎专场 SGLang 技术交流 Meetup」 在上海模速空间举行。

本次活动聚焦大模型推理的真实工程挑战，汇聚 SGLang 社区核心开发者、国产 GPU 技术专家及产业一线实践者，围绕 KV Cache 优化、国产 GPU 推理加速、生产级集群部署等关键议题展开技术交流。同时，沐曦股份联合生态伙伴围绕 SGLang Plugin 机制及开源上游共建展开深入探讨，进一步推动技术交流向生态协作延伸。

从“能跑”到“跑得好”，共话 AI Infra 技术实践

随着大模型应用加速走向生产环境，推理系统的性能、效率与部署成本正成为开发者关注的核心问题。

如何进一步降低首 Token 延迟？如何提升 GPU 利用率？如何通过缓存管理与集群优化支撑更大规模的推理服务？围绕这些问题，本次 Meetup 带来了五场聚焦技术实践的主题分享。从底层缓存机制到国产 GPU 性能优化，再到大规模推理系统的部署与架构创新，多维度呈现开源 AI Infra 的技术探索。

01｜SGLang 中的 KV Cache：缓存复用与分离式推理

SGLang 核心开发者 杨雨豪

聚焦 SGLang 的 KV Cache 管理机制，介绍 RadixAttention 如何实现共享前缀缓存复用，以及 PD 分离架构下的高效缓存传输与 HiCache 多级存储设计，探讨如何通过缓存管理提升推理效率。

02｜让国产 GPU 跑出能力上限：MetaX SGLang 推理量化和优化实践

围绕 SGLang 在沐曦 GPU 上的高性能推理实践，从模型量化、框架适配到性能调优，分享国产 GPU 与主流开源推理框架协同优化的技术路径，探索如何进一步释放国产算力潜能。

03｜如何优化你的 SGL 推理集群

从裸金属环境下的性能测试延伸至生产级推理集群部署，围绕 TTFT、TPOT 等关键指标，分享推理服务优化思路，探讨如何通过开源技术提升算力利用率与集群运行效率。

04｜共享即传输：CXL 重塑 SGLang PD 分离的 KV Cache 底座

聚焦 CXL 池化内存与 PD 分离架构，介绍 KV Cache 池化托管及 Mooncake 后端的技术设计，探索以“共享即传输”降低跨设备数据交互开销，为高并发、长文本推理提供新的优化思路。

05｜构建万亿级 Token 工厂：Mooncake × SGLang 的大规模推理实践

围绕分布式 KV 缓存系统 Mooncake 的核心设计，分享 Mooncake 与 SGLang 协同支撑大规模推理的部署方案及实践经验，探讨面向规模化生产环境的系统优化路径。

深化 Plugin 机制探讨，推动开源上游共建

Meetup 举办期间，沐曦股份、SGLAang、FlagOS 三方同步开展线下技术交流，围绕 SGLang 社区通过 Plugin 机制支持不同芯片厂商的技术路径展开深入探讨。各方初步形成了 SGLang Plugin 开源上游的推进思路，并明确后续协同共建的方式与计划，为推动多元算力与 SGLang 开源生态的深度融合奠定基础。

以开源为纽带，让技术创新持续发生

从 KV Cache 的高效管理，到国产 GPU 上的推理性能优化，再到生产级集群的架构演进，本次 Meetup 聚焦的，是大模型推理从技术验证走向规模化应用过程中需要解决的实际问题。

而围绕 SGLang Plugin 机制展开的技术探讨，也让本次交流从具体的工程实践进一步延伸至开源社区的协同共建。对于沐曦股份而言，参与 AI Infra 开源生态，不仅意味着推动国产 GPU 与 SGLang 等主流开源框架的深度适配，更意味着与社区开发者、生态伙伴共同探索技术优化与开放协作的更多可能。

让真实场景中的问题走进社区，让技术实践中的经验回归开源。
未来，沐曦股份将持续携手 SGLang 等开源社区及产业生态伙伴，深化国产 GPU 与开源 AI Infra 技术栈的协同创新，积极参与开源上游共建，推动更多技术成果在真实场景中落地。
以开放促协同，以共创促创新。沐曦股份期待与更多开发者同行，共同构建开放、高效、多元的 AI Infra 开源生态。