IT 之家 5 月 9 日消息,阿里巴巴昨日在 Github 等平臺(tái)開(kāi)源了 ZeroSearch 大模型搜索引擎。這是一種無(wú)需與真實(shí)搜索引擎交互即可激勵(lì)大模型搜索能力的強(qiáng)化學(xué)習(xí)框架。
ZeroSearch 主要利用了大模型在大規(guī)模預(yù)訓(xùn)練過(guò)程中積累的豐富知識(shí),將其轉(zhuǎn)化為一個(gè)檢索模塊,能夠根據(jù)搜索查詢生成相關(guān)內(nèi)容。同時(shí),還可以動(dòng)態(tài)控制生成內(nèi)容的質(zhì)量,這是傳統(tǒng)搜索引擎所不具備的特殊功能。
研究人員在 NQ、TriviaQA、PopQA、HotpotQA 等 7 大問(wèn)答數(shù)據(jù)集上進(jìn)行了綜合評(píng)測(cè)。結(jié)果顯示,一個(gè) 70 億參數(shù)的監(jiān)督微調(diào)模型使用 ZeroSearch 后,其搜索能力達(dá)到了 33.06;140 億參數(shù)的模型則達(dá)到了 33.97,超過(guò)了谷歌搜索的 32.47。
研究人員通過(guò) SerpAPI 使用谷歌搜索進(jìn)行約 64,000 次搜索查詢的訓(xùn)練,成本約為 586.70 美元(IT 之家注:現(xiàn)匯率約合 4238 元人民幣);而在四個(gè) A100GPU 上使用 140 億參數(shù)的大模型進(jìn)行模擬時(shí),成本僅為 70.80 美元(現(xiàn)匯率約合 511 元人民幣),意味著成本降低了 87.93% 以上。
參考鏈接:
論文地址:https://arxiv.org/abs/2505.04588
開(kāi)源地址:https://github.com/Alibaba-nlp/ZeroSearch
抱抱臉:https://huggingface.co/collections/sunhaonlp/zerosearch-681b4ce012b9b6899832f4d0