最近,通义实验室和北京大学的研究团队推出了一项名为 ZeroSearch 的创新框架,这一新技术可以在不需要真实搜索的情况下,激活大语言模型的检索能力,并且训练成本降低了惊人的88%。这一突破为大语言模型的训练和应用提供了全新的思路。
传统的训练方法通常依赖于真实的搜索引擎来获取信息,这不仅造成了高昂的 API 调用成本,还可能因搜索结果的质量不稳定而影响模型的表现。ZeroSearch 巧妙地通过引入大语言模型作为 “模拟搜索引擎”,利用其在预训练过程中积累的丰富知识来生成检索文档,从而避免了真实搜索带来的成本和噪声干扰。
论文地址:https://arxiv.org/pdf/2505.04588
代码地址:https://github.com/Alibaba-NLP/ZeroSearch
项目主页:https://alibaba-nlp.github.io/ZeroSearch
Huggingface 主页:https://huggingface.co/collections/sunhaonlp/zerosearch-v2-6827f4ee6b6265069d443d4e
该框架采用了一种结构化的训练模板,使得模型在每次交互中都能有条理地思考并进行操作。这种方法不仅提升了模型的推理路径清晰度,还使得最终答案的提取变得更加简便。此外,ZeroSearch 还通过一种名为 “模拟微调” 的策略来提升生成文档的质量,确保输出内容的实用性和可靠性。
在实验中,ZeroSearch 的表现显著优于依赖真实搜索引擎的传统方法,展现出强大的泛化能力和稳定性。随着模型参数量的增加,其性能还在不断提升。这一研究不仅推动了大语言模型的技术进步,也为未来的智能搜索和信息检索应用打开了新的可能性。
综上所述,ZeroSearch 为大语言模型的训练带来了革命性的变化,凭借其低成本和高效能,预示着智能信息检索的未来。