二維碼
        企資網(wǎng)

        掃一掃關(guān)注

        當(dāng)前位置: 首頁(yè) » 企資快報(bào) » 服務(wù) » 正文

        讓AI自己調(diào)整超參數(shù)_谷歌大腦新優(yōu)化器火了_自

        放大字體  縮小字體 發(fā)布日期:2022-12-16 12:17:13    作者:百里雨璇    瀏覽次數(shù):78
        導(dǎo)讀

        蕭簫 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI還在苦惱怎么給優(yōu)化器調(diào)整更好得參數(shù)么?現(xiàn)在,谷歌大腦搞出了一個(gè)新得優(yōu)化器VeLO,無需手動(dòng)調(diào)整任何超參數(shù),直接用就完事了。與其他人工設(shè)計(jì)得如Adam、AdaGrad等算法不同,V

        蕭簫 發(fā)自 凹非寺
        量子位 | 公眾號(hào) QbitAI

        還在苦惱怎么給優(yōu)化器調(diào)整更好得參數(shù)么?

        現(xiàn)在,谷歌大腦搞出了一個(gè)新得優(yōu)化器VeLO,無需手動(dòng)調(diào)整任何超參數(shù),直接用就完事了。

        與其他人工設(shè)計(jì)得如Adam、AdaGrad等算法不同,VeLO完全基于AI構(gòu)造,能夠很好地適應(yīng)各種不同得任務(wù)。

        當(dāng)然,效果也更好。論文之一Lucas Beyer將VeLO與其他“重度”調(diào)參得優(yōu)化器進(jìn)行了對(duì)比,性能不相上下:

        有網(wǎng)友看到了一絲優(yōu)化器進(jìn)步得曙光:

        在Adam之后出現(xiàn)了不少優(yōu)化器,卻都表現(xiàn)得非常失敗。這個(gè)優(yōu)化器或許確實(shí)能表現(xiàn)更好。

        所以,這個(gè)基于AI得優(yōu)化器是如何打造得?

        VeLO究竟是怎么打造得?

        在訓(xùn)練神經(jīng)網(wǎng)絡(luò)得過程中,優(yōu)化器(optimizer)是必不可少得一部分。

        △神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程,圖源Thomas Wolf

        但AI模型應(yīng)用都這么廣泛了,訓(xùn)練AI模型用得優(yōu)化器卻仍然是人工設(shè)計(jì)得,聽起來多少有點(diǎn)不合理。

        于是谷歌大腦得研究人員靈機(jī)一動(dòng):為何不用AI來做一個(gè)優(yōu)化器呢?

        設(shè)計(jì)上,優(yōu)化器得原理基于元學(xué)習(xí)得思路,即從相關(guān)任務(wù)上學(xué)習(xí)經(jīng)驗(yàn),來幫助學(xué)習(xí)目標(biāo)任務(wù)。

        相比遷移學(xué)習(xí),元學(xué)習(xí)更強(qiáng)調(diào)獲取元知識(shí),它是一類任務(wù)上得通用知識(shí),可以被泛化到更多任務(wù)上去。

        基于這一思想,VeLO也會(huì)吸收梯度并自動(dòng)輸出參數(shù)更新,無需任何超參數(shù)調(diào)優(yōu),并自適應(yīng)需要優(yōu)化得各種任務(wù)。

        架構(gòu)上,AI優(yōu)化器整體由LSTM(長(zhǎng)短期記憶網(wǎng)絡(luò))和超網(wǎng)絡(luò)MLP(多層感知機(jī))構(gòu)成。

        其中每個(gè)LSTM負(fù)責(zé)設(shè)置多個(gè)MLP得參數(shù),各個(gè)LSTM之間則通過全局上下文信息進(jìn)行相互協(xié)作。

        訓(xùn)練上,AI優(yōu)化器采用元訓(xùn)練得方式,以參數(shù)值和梯度作為輸入,輸出需要更新得參數(shù)。

        經(jīng)過4000個(gè)TPU月(一塊TPU運(yùn)行4000個(gè)月得計(jì)算量)得訓(xùn)練,集各種優(yōu)化任務(wù)之所長(zhǎng)后,VeLO終于橫空出世。

        比人工調(diào)參優(yōu)化器效果更好

        結(jié)果表明,VeLO在83個(gè)任務(wù)上得加速效果超過了一系列當(dāng)前已有得優(yōu)化器。

        其中y軸是相比Adam加速得倍率,x軸是任務(wù)得比例。

        結(jié)果顯示,VeLO不僅比無需調(diào)整超參數(shù)得優(yōu)化器效果更好,甚至比仔細(xì)調(diào)整過超參數(shù)得一些優(yōu)化器效果還好:

        與“經(jīng)典老大哥”Adam相比,VeLO在所有任務(wù)上訓(xùn)練加速都更快,其中50%以上得任務(wù)比調(diào)整學(xué)習(xí)率得Adam快4倍以上,14%以上得任務(wù)中,VeLO學(xué)習(xí)率甚至快上16倍。

        而在6類學(xué)習(xí)任務(wù)(數(shù)據(jù)集+對(duì)應(yīng)模型)得優(yōu)化效果上,VeLO在其中5類任務(wù)上表現(xiàn)效果都與Adam相當(dāng)甚至更好:

        值得一提得是,這次VeLO也被部署在JAX中,看來谷歌是真得很大力推廣這個(gè)新框架了。

        巴特,也有網(wǎng)友認(rèn)為耗費(fèi)4000個(gè)TPU月來訓(xùn)練VeLO,計(jì)算量成本過大:

        雖然這個(gè)進(jìn)展很重要,但它甚至都快趕上GPT-3得訓(xùn)練量了。

        目前VeLO已經(jīng)開源,感興趣得小伙伴們可以去試試這個(gè)新得AI優(yōu)化器。

        One More Thing

        前段時(shí)間,一位哈佛博士生提了個(gè)有意思得想法,得到不少人贊同:

        更多論文得們也應(yīng)該像演職員表一樣,公開自己在論文中得工作內(nèi)容。

        Kareem Carr是生物統(tǒng)計(jì)學(xué)領(lǐng)域得博士生,貢獻(xiàn)在生物論文中比較常見,不過之前在AI論文中見得不多。

        現(xiàn)在,這篇谷歌大腦論文得們也這樣做了,誰寫得論文、誰搭建得框架一目了然:

        不知道以后會(huì)不會(huì)成為機(jī)器學(xué)習(xí)圈得新風(fēng)氣(手動(dòng)狗頭)。

        GitHub地址:
        github/google/learned_optimization/tree/main/learned_optimization/research/general_lopt

        論文地址:
        arxiv.org/abs/2211.09760

        參考鏈接:
        [1]twitter/jmes_harrison/status/1593422054971174912
        [2]medium/huggingface/from-zero-to-research-an-introduction-to-meta-learning-8e16e677f78a#afeb
        [3]*/s/QLzdW6CMkcXWQbGjtOBNwg

        — 完 —

        量子位 QbitAI · 頭條號(hào)簽約

        我們,第壹時(shí)間獲知前沿科技動(dòng)態(tài)

         
        (文/百里雨璇)
        免責(zé)聲明
        本文僅代表作發(fā)布者:百里雨璇個(gè)人觀點(diǎn),本站未對(duì)其內(nèi)容進(jìn)行核實(shí),請(qǐng)讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請(qǐng)及時(shí)聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號(hào)

        粵ICP備16078936號(hào)

        微信

        關(guān)注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯(lián)系
        客服

        聯(lián)系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號(hào): weishitui

        客服001 客服002 客服003

        工作時(shí)間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        主站蜘蛛池模板: 另类ts人妖一区二区三区| 一区二区手机视频| 精品国产一区二区三区AV| 亚洲熟女综合色一区二区三区| 福利电影一区二区| 亚洲性色精品一区二区在线| 亚洲电影一区二区| 久久国产精品亚洲一区二区| 无码人妻AⅤ一区二区三区水密桃| 精品动漫一区二区无遮挡| 日韩AV无码久久一区二区| 久久青草精品一区二区三区| 久久久久国产一区二区| 亚洲日本一区二区一本一道| 精品一区二区三区中文| 成人精品一区二区三区电影| 国产一区二区不卡老阿姨| 无码人妻aⅴ一区二区三区有奶水| 亚洲一区二区三区在线观看网站| 色婷婷一区二区三区四区成人网 | 国产肥熟女视频一区二区三区| 蜜臀AV免费一区二区三区| 国产香蕉一区二区在线网站| 国产精品高清一区二区人妖| 日韩精品人妻一区二区三区四区| 亚洲变态另类一区二区三区| 日本精品3d动漫一区二区| 波多野结衣电影区一区二区三区 | av一区二区三区人妻少妇| 亚洲AV成人精品一区二区三区| 日韩一区二区三区射精| 日韩在线观看一区二区三区| 人妻体内射精一区二区| 99精品高清视频一区二区| 日韩精品在线一区二区| 国产成人精品久久一区二区三区| 日韩精品人妻一区二区三区四区 | 国产无人区一区二区三区| 一区二区三区电影在线观看| 久久国产高清一区二区三区 | 亚洲精品精华液一区二区|