北京硅基流动科技申请用于生成式模型推理的树状投机采样专利，能够并行探索多种可能的生成路径

金融界2025年5月5日消息，国家知识产权局信息显示，北京硅基流动科技有限公司申请一项名为“用于生成式模型推理的树状投机采样方法及装置”的专利，公开号 CN119918675A，申请日期为2025年1月。

专利摘要显示，本公开提供了一种用于生成式模型推理的树状投机采样方法及装置。该方法包括：将输入序列输入生成式模型中；所述生成式模型基于所述输入序列进行推理计算生成树状结构的多个候选token；接受所述树状结构中的部分候选token；通过所述部分候选token更新所述输入序列以生成当前序列；基于当前序列进行下一步推理计算，并在下一步推理计算中重新计算未进行缓存的token；当满足终止条件时，输出生成的最终序列。本申请涉及的用于生成式模型推理的树状投机采样方法及装置，能够并行探索多种可能的生成路径，避免逐步推理带来的效率瓶颈，并且在推理计算的过程中节省计算资源，实现缓存效率与灵活性的平衡。

天眼查资料显示，北京硅基流动科技有限公司，成立于2023年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本1512.3893万人民币。通过天眼查大数据分析，北京硅基流动科技有限公司共对外投资了1家企业，参与招投标项目6次，财产线索方面有商标信息4条，专利信息8条，此外企业还拥有行政许可1个。

本文源自：金融界

作者：情报员