近日，全球人工智能顶级学术会议NeurIPS 2026正式公布录用结果，沐曦股份AI技术团队联合香港科技大学提出的大模型推理加速方案 SpecBlock，成功入选主会Poster论文。同时，该方法的全部实验流程均已在沐曦 GPU 平台同步复现。

NeurIPS（神经信息处理系统大会）是人工智能与机器学习领域最具影响力的学术会议之一，与 ICML、ICLR 并称“三大顶会”，每年汇聚全球顶尖高校与科技巨头的前沿成果，是学界与产业界衡量算法原创性与学术价值的重要标尺。SpecBlock入选该顶会，意味着该方案的创新性已获得国际同行的严格评审认可；对沐曦股份而言，标志着公司在“芯片+算法”协同创新上迈出了实质性一步。该方法的全部实验流程在沐曦GPU平台同步复现，也为国产算力生态从硬件替代走向软硬协同创新提供了有力注脚。

大模型竞争进入推理效率时代

过去几年，人工智能技术的快速发展主要由模型规模扩张、训练数据增长和算力投入驱动。随着大模型加速向智能Agent、企业智能服务、实时交互等实际应用场景渗透，AI产业的竞争焦点正从模型能力的持续突破，进一步延伸至推理效率、运行成本与规模化服务能力的综合竞争。

然而，传统大模型普遍采用逐Token自回归生成方式，每生成一个Token都需要执行一次模型前向计算。在生成阶段（Decode），这一过程往往受到显存带宽限制，频繁的模型权重访问难以充分发挥GPU的并行计算能力。随着模型规模扩大、推理请求量持续增长，推理延迟、服务吞吐与算力成本正成为制约大模型规模化落地的关键瓶颈。

面对这一挑战，如何在保障模型能力与生成质量的前提下，以更低的计算成本实现更高的Token生成效率，已经成为大模型技术演进的重要方向。

未来的大模型竞争，不仅是模型能力的竞争，更是推理效率与算力利用效率的竞争。谁能以更低成本、更高吞吐、更优时延释放大模型能力，谁就更有机会在AI规模化应用中占据优势。

推测解码成为大模型推理加速的关键技术

随着大模型推理需求持续增长，如何突破传统逐Token生成的效率瓶颈，充分释放GPU计算能力，已成为大模型推理优化的核心方向。

以DeepSeek系列模型为代表的新一代大模型，已经引入Multi-Token Prediction（MTP，多Token预测）机制，为推测解码提供高效的候选Token生成能力；DSpark等前沿技术则进一步探索高效草稿生成与推理加速的实现路径。这些技术的发展共同印证了一个重要趋势：大模型推理性能的突破，不仅依赖算力规模的提升，更依赖计算效率的优化，让每一次模型计算产生更多有效Token。

推测解码（Speculative Decoding）正是实现这一目标的关键技术之一。其核心思想是通过轻量级Draft模型提前生成多个候选Token，再由Target模型在一次前向计算中并行验证，从而将传统的逐Token生成转变为一次计算接受多个Token，有效减少大模型串行调用次数，提高GPU计算资源利用率，实现推理吞吐与生成效率的显著提升。

然而，现有推测解码方法仍面临预测质量与计算成本难以兼顾的核心挑战：

l 自回归Draft方法： 能够充分建模Token之间的依赖关系，预测质量较高，但依赖多轮串行计算，Draft开销较大。

l 并行Draft方法： 通过一次前向计算预测多个Token，显著降低Draft成本，但由于缺乏充分的Token依赖建模，容易导致预测质量和验证接受率下降。

l 固定候选树策略： 难以根据不同Token位置的预测难度动态分配验证预算，限制了计算资源利用效率与整体加速收益。

如何突破“高预测质量依赖高计算成本、低计算成本牺牲预测质量”的技术困境，成为进一步提升推测解码性能的关键。SpecBlock 的切入点，正是把这道“准确率与成本二选一”的难题改写成通过块级迭代生成与动态树搜索的协同设计，寻求预测质量与计算成本之间的更优平衡。

突破性能瓶颈，实现业界领先的推理加速性能

针对现有推测解码技术在预测质量、Draft计算成本与端到端推理吞吐之间难以兼顾的核心挑战，沐曦股份AI技术团队联合香港科技大学提出新型推测解码方法SpecBlock（Block-Iterative Speculative Decoding with Dynamic Tree Drafting），在高效草稿生成、动态搜索策略及在线自适应优化等方面取得创新突破。

不同于传统自回归Draft方法依赖多轮串行计算，也不同于完全并行Draft方法因缺Token依赖而牺牲预测质量，SpecBlock创新性地提出块级迭代生成与动态树搜索相结合的技术路线，兼顾草稿生成效率与预测准确性，突破现有方法的性能瓶颈。

SpecBlock主要通过四项关键技术实现协同优化：

l Block-Iterative Drafting（块级迭代生成）： 从逐Token串行预测升级为块级生成，一次Forward预测多个具有依赖关系的Token位置，显著降低Draft调用开销。

l Layer-wise Shift + Prefix Broadcast（依赖增强机制）： 强化Token之间的上下文信息传递，在提高并行生成效率的同时保持较高预测质量。

l Rank-Guided Dynamic Tree（动态候选树）： 根据预测置信度自适应分配搜索分支，将有限的验证预算投入更有价值的候选路径，提高计算资源利用效率。

l Cost-Aware Online Adaptation（成本感知在线优化）： 根据模型验证反馈与实际吞吐收益，动态选择模型更新策略，进一步提升复杂场景下的持续推理效率。

多模型、多任务实验结果表明，SpecBlock展现出领先的推理性能。在沐曦C500通用GPU上的实测结果：相较于EAGLE-3，SpecBlock在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%，Draft阶段耗时分别降低50.9%和38.4%。上述结果证明，该方法不仅具备学术创新价值，也具备明确的工程落地价值。

基于沐曦通用GPU，跑通全流程复现

前沿AI技术的突破，不仅在于算法创新，更在于支撑创新成果从研究走向实践的完整算力与软件生态。

此次SpecBlock研究不仅实现了推测解码算法层面的创新突破，更依托沐曦通用GPU硬件平台与MACA软件生态，打通了从算法设计、模型训练到推理部署、性能验证的完整技术链路，形成覆盖“算法研发 → 模型训练 → 系统优化 → 推理部署 → 性能评测”的端到端研发与验证能力。

在沐曦C500通用GPU平台的实测中，SpecBlock展现出领先的推理加速性能：相比EAGLE-3，在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%。这一结果不仅验证了SpecBlock算法的先进性，也进一步体现了沐曦通用GPU与MACA软件生态对复杂模型架构、先进推理算法及系统级性能优化的支撑能力。这项工作不只是一次算法创新，更是对国产GPU与软件生态能否承载前沿AI研究的一次完整验证。

从前沿算法到开源生态，夯实国产AI创新底座

此次SpecBlock研究是沐曦股份AI技术团队与香港科技大学深化产学研协同创新的重要成果，不仅在大模型推理加速领域取得了领先的技术突破，也进一步验证了国产GPU与自主软件生态支撑前沿AI研究的综合能力。

通过将前沿算法研究、沐曦通用GPU与MACA软件生态深度融合，SpecBlock实现了从技术创新、模型训练到推理优化的协同发展，并通过代码开源推动研究成果向全球开发者社区开放，促进先进推理技术的持续演进与应用落地。

真正具有竞争力的AI基础设施，不仅要能够高效运行先进模型，更要能够支撑前沿算法的自主创新与持续突破。

未来，沐曦将继续深化与高校及产业伙伴的协同合作，推动算法创新、系统软件与国产算力的深度融合，加速前沿AI技术从科研探索走向产业实践，为构建开放、高效、自主的下一代AI基础设施提供坚实支撑。

论文名称： SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting

论文地址： https://arxiv.org/pdf/2605.07243

GitHub开源地址： https://github.com/shiweijiezero/SpecBlock