中國(guó)網(wǎng)財(cái)經(jīng) 9 月 13 日訊 可供大模型訓(xùn)練的人類(lèi)數(shù)據(jù)越來(lái)越少，Scaling Law 正在緩慢失效，智能的上限，如何再次突破？
9 月 12 日，在 2025 Inclusion · 外灘大會(huì) "Data meets AI：智能時(shí)代的雙引擎 " 見(jiàn)解論壇上，產(chǎn)學(xué)界的多位權(quán)威專(zhuān)家給出了新解法：數(shù)據(jù)驅(qū)動(dòng)了 AI 發(fā)展，AI 也讓數(shù)據(jù)迎來(lái)了新一輪的進(jìn)化，雙引擎融合驅(qū)動(dòng)才是演進(jìn)方向。
論壇由中國(guó)人工智能學(xué)會(huì)、上海交通大學(xué)與螞蟻集團(tuán)聯(lián)合主辦。
高質(zhì)量數(shù)據(jù)構(gòu)建成為大模型發(fā)展的新突破口
數(shù)據(jù)作為智能時(shí)代的第一引擎，正從輔助角色轉(zhuǎn)變?yōu)楹诵尿?qū)動(dòng)力。
復(fù)旦大學(xué)教授肖仰華指出，當(dāng)前大模型發(fā)展正面臨嚴(yán)峻的 " 數(shù)據(jù)墻 " 困境，無(wú)標(biāo)簽語(yǔ)料對(duì)模型性能提升的貢獻(xiàn)日益減弱，更大規(guī)模數(shù)據(jù)帶來(lái)的性能提升與所需的訓(xùn)練開(kāi)銷(xiāo)相比性?xún)r(jià)比顯著降低。他認(rèn)為，大模型數(shù)據(jù)科學(xué)需要從專(zhuān)家經(jīng)驗(yàn)階段發(fā)展到量化科學(xué)、直至自進(jìn)化階段。" 大模型的數(shù)據(jù)實(shí)踐需要屠呦呦式的研究，從海量雜亂的數(shù)據(jù)中提取出決定模型能力的關(guān)鍵成分 "。
肖仰華分享了通過(guò)語(yǔ)法復(fù)雜度指標(biāo)和累積分布采樣方法篩選高質(zhì)量語(yǔ)料的實(shí)踐，實(shí)驗(yàn)表明，從 100 億個(gè) token 的財(cái)經(jīng)語(yǔ)料中僅篩選 20% 的高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練，對(duì)模型進(jìn)行持續(xù)預(yù)訓(xùn)練，相比于全量數(shù)據(jù)持續(xù)預(yù)訓(xùn)練，在領(lǐng)域問(wèn)答任務(wù)上的準(zhǔn)確率提升 1.7%。
上海交通大學(xué)特聘教授翟廣濤強(qiáng)調(diào)無(wú)論是精煉數(shù)據(jù)還是合成數(shù)據(jù)，都需要質(zhì)量?jī)?yōu)先，而數(shù)據(jù)質(zhì)量分析要從 " 體驗(yàn)質(zhì)量 " 入手，考慮人的體驗(yàn)，也考慮機(jī)器的體驗(yàn)，進(jìn)而在數(shù)據(jù)為中心的范式下進(jìn)一步提升大模型性能。
海天瑞聲 CEO 李科從產(chǎn)業(yè)實(shí)踐角度分享了全球 AI 數(shù)據(jù)行業(yè)的發(fā)展趨勢(shì)。他認(rèn)為，數(shù)據(jù)產(chǎn)業(yè)正在經(jīng)歷從勞動(dòng)密集型向技術(shù)密集型和知識(shí)密集型的重大轉(zhuǎn)型。通過(guò)動(dòng)捕數(shù)據(jù)、自動(dòng)駕駛標(biāo)注、思維鏈數(shù)據(jù)集等多個(gè)實(shí)際案例，李科展示了高質(zhì)量數(shù)據(jù)如何服務(wù)千行百業(yè)。
上海庫(kù)帕思科技有限公司董事長(zhǎng)山棟明說(shuō)，模型之變引領(lǐng) " 數(shù)據(jù)質(zhì)變 "，他表示高質(zhì)量數(shù)據(jù)集應(yīng)滿足 VALID （鮮活度、真實(shí)性、大樣本、完整性、多樣性、高知識(shí)密度 ) 要求，并詳細(xì)介紹了語(yǔ)料數(shù)據(jù)在方法論、基礎(chǔ)設(shè)施和行業(yè)生態(tài)三個(gè)方面的體系化重構(gòu)探索。
技術(shù)創(chuàng)新推動(dòng)數(shù)據(jù)價(jià)值釋放
作為第二引擎，AI 技術(shù)正在深刻改變數(shù)據(jù)處理和利用的方式。
光輪智能總裁楊海波表示，具身智能對(duì)數(shù)據(jù)的需求量是大語(yǔ)言模型和自動(dòng)駕駛的上千倍。合成數(shù)據(jù)是實(shí)現(xiàn)具身智能 Scaling Law 的重要基礎(chǔ)，他強(qiáng)調(diào)，合成數(shù)據(jù)必須滿足四個(gè)必備條件：真實(shí)的物理交互、人在環(huán)的示范、場(chǎng)景足夠豐富和數(shù)據(jù)閉環(huán)驗(yàn)證。楊海波認(rèn)為，" 站在岸上學(xué)不會(huì)游泳 "，機(jī)器人需要進(jìn)入物理可交互的環(huán)境去獲取物理世界反饋來(lái)優(yōu)化模型。
螞蟻技術(shù)研究院數(shù)據(jù)智能實(shí)驗(yàn)室負(fù)責(zé)人趙俊博認(rèn)為，下一代 RL 訓(xùn)練法則應(yīng)該從 " 對(duì)與錯(cuò) " 轉(zhuǎn)向 " 好與更好 "。" 他探索的 "Rubric 即 Reward" 新機(jī)制，只需使用 5k 數(shù)據(jù)和 1 萬(wàn)條評(píng)分標(biāo)準(zhǔn)構(gòu)建高效 RL 回路，就能擺脫對(duì)海量 SFT 數(shù)據(jù)的依賴(lài)，實(shí)現(xiàn) " 品味對(duì)齊 "。他說(shuō)，這種方法可以在人文、創(chuàng)意、情感等領(lǐng)域?qū)崿F(xiàn)風(fēng)格化生成，去除 " 機(jī)器味道 "。
LanceDB CTO 徐磊分享了開(kāi)源多模態(tài)數(shù)據(jù)湖的創(chuàng)新實(shí)踐。他介紹，與傳統(tǒng)的 Parquet、ORC 等格式不同，新設(shè)計(jì)的 Lance 格式既是文件格式又是表格式，具備零拷貝數(shù)據(jù)演化和高效點(diǎn)查兩大核心特性。徐磊舉了 Runway ML 的案例，該公司將 PB 級(jí)視頻數(shù)據(jù)導(dǎo)入 Lance 后，能夠像使用 SQL 一樣簡(jiǎn)單管理，實(shí)現(xiàn) 30 多位 AI 工程師在同一個(gè)主表上并行進(jìn)行特征工程迭代。
NVIDIA 互聯(lián)網(wǎng)解決方案架構(gòu)高級(jí)總監(jiān)陳川介紹了驅(qū)動(dòng)生成式 AI 的高效數(shù)據(jù)處理創(chuàng)新，分享了從文本到多模態(tài)的 GPU 加速解決方案。
在圓桌討論環(huán)節(jié)，專(zhuān)家圍繞展開(kāi) Data Infra 的重構(gòu)與機(jī)遇深入討論。專(zhuān)家一致認(rèn)為，隨著計(jì)算范式的變化，數(shù)據(jù)處理技術(shù)無(wú)論主動(dòng)還是被動(dòng)，都需要重構(gòu)與再定義。重構(gòu)是為了解決已經(jīng)面臨的問(wèn)題，再定義則是著眼于未來(lái)，解決可能面臨的問(wèn)題。
