亚洲熟妇色自偷自拍另类55_手机av妹子在线看片_极品成人无码视频在线_午夜无码精品一区二区三区_国产精品爽爽VA无码视频

首頁  ?  新聞?lì)l道  ?  國際新聞

新聞分析|全球科研團(tuán)隊(duì)競逐低成本AI模型研發(fā)新范式

2025-02-23 15:56:42

來源:新華網(wǎng)

  新華社北京2月23日電 新聞分析|全球科研團(tuán)隊(duì)競逐低成本AI模型研發(fā)新范式

  新華社記者彭茜

  美國斯坦福大學(xué)等機(jī)構(gòu)研究團(tuán)隊(duì)近日宣布,在基座大模型基礎(chǔ)上,僅耗費(fèi)數(shù)十美元就開發(fā)出相對(duì)成熟的推理模型。盡管其整體性能尚無法比肩美國開放人工智能研究中心(OpenAI)開發(fā)的o1、中國深度求索公司的DeepSeek-R1等,但此類嘗試意味著企業(yè)可以較低成本研發(fā)出適合自身的AI應(yīng)用,AI普惠性有望增強(qiáng)。同時(shí),其所應(yīng)用的“測試時(shí)擴(kuò)展”技術(shù)或代表一條更可持續(xù)的AI研發(fā)路徑。

  低成本玩轉(zhuǎn)高級(jí)推理

  美國斯坦福大學(xué)和華盛頓大學(xué)研究團(tuán)隊(duì)近日宣布研發(fā)出名為s1的模型,在衡量數(shù)學(xué)和編碼能力的測試中,可媲美o1和DeepSeek-R1等。研究團(tuán)隊(duì)稱,訓(xùn)練租用所需的計(jì)算資源等成本只需約幾十美元。

  s1的核心創(chuàng)新在于采用了“知識(shí)蒸餾”技術(shù)和“預(yù)算強(qiáng)制”方法?!爸R(shí)蒸餾”好比把別人釀好的酒進(jìn)一步提純。該模型訓(xùn)練數(shù)據(jù)是基于谷歌Gemini Thinking Experimental模型“蒸餾”出的僅有1000個(gè)樣本的小型數(shù)據(jù)集。

  “預(yù)算強(qiáng)制”則使用了AI模型訓(xùn)練新方法——“測試時(shí)擴(kuò)展”的實(shí)現(xiàn)方式?!皽y試時(shí)擴(kuò)展”又稱“深度思考”,核心是在模型測試階段,通過調(diào)整計(jì)算資源分配,使模型更深入思考問題,提高推理能力和準(zhǔn)確性。

  “預(yù)算強(qiáng)制”通過強(qiáng)制提前結(jié)束或延長模型的思考過程,來影響模型的推理深度和最終答案。s1對(duì)阿里云的通義千問開源模型進(jìn)行微調(diào),通過“預(yù)算強(qiáng)制”控制訓(xùn)練后的模型計(jì)算量,使用16個(gè)英偉達(dá)H100 GPU僅進(jìn)行26分鐘訓(xùn)練便達(dá)成目標(biāo)。

  美國加利福尼亞大學(xué)伯克利分校研究團(tuán)隊(duì)最近也開發(fā)出一款名為TinyZero的精簡AI模型,稱復(fù)刻了DeepSeek-R1 Zero在倒計(jì)時(shí)和乘法任務(wù)中的表現(xiàn)。該模型通過強(qiáng)化學(xué)習(xí),實(shí)現(xiàn)了部分相當(dāng)于30億模型參數(shù)的大語言模型的自我思維驗(yàn)證和搜索能力。團(tuán)隊(duì)稱項(xiàng)目訓(xùn)練成本不到30美元。

  “二次創(chuàng)造”增強(qiáng)AI普惠性

  清華大學(xué)計(jì)算機(jī)系長聘副教授劉知遠(yuǎn)接受記者采訪時(shí)說,部分海外研究團(tuán)隊(duì)使用DeepSeek-R1、o1等高性能推理大模型來構(gòu)建、篩選高質(zhì)量長思維鏈數(shù)據(jù)集,再用這些數(shù)據(jù)集微調(diào)模型,可低成本快速獲得高階推理能力。

  相關(guān)專家認(rèn)為,這是AI研發(fā)的有益嘗試,以“二次創(chuàng)造”方式構(gòu)建模型增強(qiáng)了AI普惠性。但有三點(diǎn)值得注意:

  首先,所謂“幾十美元的低成本”,并未納入開發(fā)基座大模型的高昂成本。這就好比蓋房子,只算了最后裝修的錢,卻沒算買地、打地基的錢。AI智庫“快思慢想研究院”院長田豐告訴記者,幾十美元成本只是最后一個(gè)環(huán)節(jié)的算力成本,并未計(jì)算基座模型的預(yù)訓(xùn)練成本、數(shù)據(jù)采集加工成本。

  其次,“二次創(chuàng)造”構(gòu)建的模型,整體性能尚無法比肩成熟大模型。TinyZero僅在簡單數(shù)學(xué)任務(wù)、編程及數(shù)學(xué)益智游戲等特定任務(wù)中有良好表現(xiàn),但無法適用于更復(fù)雜、多樣化的任務(wù)場景。而s1模型也只能通過精心挑選的訓(xùn)練數(shù)據(jù),在特定測試集上超過早期版本o1 preview,而遠(yuǎn)未超過o1正式版或DeepSeek-R1。

  最后,開發(fā)性能更優(yōu)越的大模型,仍需強(qiáng)化學(xué)習(xí)技術(shù)。劉知遠(yuǎn)說,就推動(dòng)大模型能力邊界而言,“知識(shí)蒸餾”技術(shù)意義不大,未來仍需探索大規(guī)模強(qiáng)化學(xué)習(xí)技術(shù),以持續(xù)激發(fā)大模型在思考、反思、探索等方面的能力。

  AI模型未來如何進(jìn)化

  在2025年美國消費(fèi)電子展上,美國英偉達(dá)公司高管為AI的進(jìn)化勾畫了一條路線圖:以智能水平為縱軸、以計(jì)算量為橫軸,衡量AI模型的“規(guī)模定律”呈現(xiàn)從“預(yù)訓(xùn)練擴(kuò)展”、到“訓(xùn)練后擴(kuò)展”,再到“測試時(shí)擴(kuò)展”的演進(jìn)。

  “預(yù)訓(xùn)練擴(kuò)展”堪稱“大力出奇跡”——訓(xùn)練數(shù)據(jù)越多、模型規(guī)模越大、投入算力越多,最終得到AI模型的能力就越強(qiáng)。目標(biāo)是構(gòu)建一個(gè)通用語言模型,以GPT早期模型為代表。而“訓(xùn)練后擴(kuò)展”涉及強(qiáng)化學(xué)習(xí)和人類反饋等技術(shù),是預(yù)訓(xùn)練模型的“進(jìn)化”,優(yōu)化其在特定領(lǐng)域的任務(wù)表現(xiàn)。

  隨著“預(yù)訓(xùn)練擴(kuò)展”和“訓(xùn)練后擴(kuò)展”邊際收益逐漸遞減,“測試時(shí)擴(kuò)展”技術(shù)興起。田豐說,“測試時(shí)擴(kuò)展”的核心在于將焦點(diǎn)從訓(xùn)練階段轉(zhuǎn)移到推理階段,通過動(dòng)態(tài)控制推理過程中的計(jì)算量(如思考步長、迭代次數(shù))來優(yōu)化結(jié)果。這一方法不僅降低了對(duì)預(yù)訓(xùn)練數(shù)據(jù)的依賴,還顯著提升了模型潛力。

  三者在資源分配和應(yīng)用場景上各有千秋。預(yù)訓(xùn)練像是讓AI模型去學(xué)校學(xué)習(xí)基礎(chǔ)知識(shí),而后訓(xùn)練則是讓模型掌握特定工作技能,如醫(yī)療、法律等專業(yè)領(lǐng)域。“測試時(shí)擴(kuò)展”則賦予了模型更強(qiáng)推理能力。

  AI模型的迭代還存在類似摩爾定律的現(xiàn)象,即能力密度隨時(shí)間呈指數(shù)級(jí)增強(qiáng)。劉知遠(yuǎn)說,2023年以來,大模型能力密度大約每100天翻一番,即每過100天,只需要一半算力和參數(shù)就能實(shí)現(xiàn)相同能力。未來應(yīng)繼續(xù)推進(jìn)計(jì)算系統(tǒng)智能化,不斷追求更高能力密度,以更低成本,實(shí)現(xiàn)大模型高效發(fā)展。

  • 相關(guān)閱讀
  • 新華視評(píng)丨以“新”為帆 開拓外貿(mào)新空間

      編導(dǎo):趙宇超  新華社音視頻部制作 ...

    時(shí)間:02-23
  • 記者手記丨中國新能源汽車閃耀印尼國際車展

      新華社雅加達(dá)2月23日電 記者手記|中國新能源汽車閃耀印尼國際車展  新華社記者陶方偉  “這個(gè)可旋轉(zhuǎn)中控屏太棒了!”來自印度尼西亞泗水的哈里興奮地體驗(yàn)著比亞迪電動(dòng)運(yùn)動(dòng)型多功能車(S...

    時(shí)間:02-23
  • 法國東部發(fā)生持刀襲擊事件致1死多傷

      新華社巴黎2月22日電(記者張百慧)據(jù)法國媒體報(bào)道,法國東部城市米盧斯22日發(fā)生一起持刀襲擊事件,目前已致1人死亡、多人受傷。嫌疑人已被逮捕。  報(bào)道說,22日下午,一名持刀男子在當(dāng)?shù)匾皇袌龈浇蚵啡税l(fā)動(dòng)襲擊,一名路人...

    時(shí)間:02-23
  • “中國講壇”在突尼斯舉辦 探討中非攜手現(xiàn)代化前景

      新華社突尼斯2月22日電(記者黃靈 王一盛)以“中非攜手現(xiàn)代化引領(lǐng)全球南方”為主題、由中國非洲研究院主辦的第22屆“中國講壇”22日在位于突尼斯首都突尼斯市的突尼斯高等語言學(xué)院舉行。  2月22日,突尼斯...

    時(shí)間:02-23
  • 全球瞭望丨約旦專欄作家:中國外交堅(jiān)持和平、理性,具有戰(zhàn)略定力

      新華社安曼2月22日電(記者何奕萍)約旦專欄作家法里斯·哈巴什奈近日在當(dāng)?shù)刂髁髅襟w《憲章報(bào)》發(fā)表文章,強(qiáng)調(diào)中國外交堅(jiān)持和平、理性,具有戰(zhàn)略定力。文章摘要如下:  中國在外交政策上堅(jiān)持積極中立,堅(jiān)...

    時(shí)間:02-22
  • 蒙古國國家大呼拉爾主席將訪華

      新華社北京2月22日電 應(yīng)全國人大常委會(huì)委員長趙樂際邀請(qǐng),蒙古國國家大呼拉爾主席阿瑪爾巴伊斯格楞將于2月24日至27日率團(tuán)訪華。 ...

    時(shí)間:02-22
  • 二十國集團(tuán)外長會(huì)呼吁合作應(yīng)對(duì)全球性挑戰(zhàn)

      新華社約翰內(nèi)斯堡2月22日電(記者王曉梅)為期兩天的二十國集團(tuán)(G20)外長會(huì)21日在南非約翰內(nèi)斯堡落下帷幕。會(huì)議呼吁各國加強(qiáng)合作,應(yīng)對(duì)全球性挑戰(zhàn)?! ∧戏强偨y(tǒng)拉馬福薩在會(huì)議期間表示,G20峰會(huì)在非洲舉行,凸顯了在可持續(xù)...

    時(shí)間:02-22
  • 新西蘭克賴斯特徹奇舉行地震14周年悼念儀式

      新華社惠靈頓2月22日電(記者龍雷 李惠子)新西蘭南島最大城市克賴斯特徹奇22日舉行2011年地震遇難者悼念儀式。  2月22日,新西蘭南島最大城市克賴斯特徹奇舉行2011年地震遇難者悼念儀式。新華社發(fā)(仲偉人 ...

    時(shí)間:02-22
  • 美俄“單聊”后,美歐涉烏決議草案現(xiàn)分歧

      新華社北京2月22日電 烏克蘭危機(jī)全面升級(jí)三周年之際,美國不再與盟友一道在聯(lián)合國大會(huì)共同發(fā)起支持烏克蘭的決議草案,而是“另起爐灶”,即提議與歐洲盟友和烏克蘭立場不同的決議草案。2024年9月23日,在位于紐...

    時(shí)間:02-22
免責(zé)聲明:本網(wǎng)對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。 本網(wǎng)站轉(zhuǎn)載圖片、文字之類版權(quán)申明,本網(wǎng)站無法鑒別所上傳圖片或文字的知識(shí)版權(quán),如果侵犯,請(qǐng)及時(shí)通知我們,本網(wǎng)站將在第一時(shí)間及時(shí)刪除。