站長資訊網(wǎng)
最全最豐富的資訊網(wǎng)站

百度飛槳分布式訓(xùn)練業(yè)內(nèi)首創(chuàng)4D混合并行策略 可訓(xùn)千億級AI模型

  要說誰是近幾年人工智能這條街上最靚的仔,那莫過于深度學(xué)習(xí),特別是“大數(shù)據(jù)”、“大模型”、“大算力”不絕于耳。隨著產(chǎn)業(yè)應(yīng)用對AI模型效果的要求越來越高,數(shù)據(jù)和參數(shù)規(guī)模不斷增長,分布式訓(xùn)練即使用多臺機器共同完成大數(shù)據(jù)大模型的訓(xùn)練任務(wù),已經(jīng)成為開發(fā)者們必須關(guān)注的技術(shù)。

  各大深度學(xué)習(xí)框架也都在分布式訓(xùn)練上頻頻發(fā)力,秀肌肉顯成效。作為我國首個開源開放、自主研發(fā)、功能完備的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,飛槳在分布式訓(xùn)練上保持強勢輸出,不僅具備業(yè)內(nèi)最早支持萬億級稀疏參數(shù)模型訓(xùn)練的能力,近期又創(chuàng)新性的提出了4D混合并行策略,以訓(xùn)練千億級稠密參數(shù)模型。

  那么,飛槳的分布式訓(xùn)練技術(shù)到底有多強呢?

百度飛槳分布式訓(xùn)練業(yè)內(nèi)首創(chuàng)4D混合并行策略 可訓(xùn)千億級AI模型

  (百度豐富的業(yè)務(wù)場景)

  飛槳的分布式訓(xùn)練技術(shù)在對外提供之前就已經(jīng)在百度內(nèi)部業(yè)務(wù)廣泛應(yīng)用,早在2018年飛槳的純CPU參數(shù)服務(wù)器模式,就可以支持萬億參數(shù)規(guī)模模型的訓(xùn)練,來解決搜索推薦場景面臨的數(shù)據(jù)量大、特征維度高且稀疏化的問題。

  隨著模型網(wǎng)絡(luò)越來越復(fù)雜,對算力要求越來越高,在數(shù)據(jù)量不變的情況下,CPU計算性能差的弱勢便暴露無遺。面對這一問題,飛槳引入了純GPU參數(shù)服務(wù)器來提升計算性能,把100臺CPU機器才能訓(xùn)練的模型只用1臺多卡GPU設(shè)備即可完成訓(xùn)練,不僅節(jié)約了成本,還保障了集群的穩(wěn)定性和擴展性。

  此次技術(shù)升級之后,飛槳“越戰(zhàn)越勇”。考慮到在純GPU的參數(shù)服務(wù)器下,當(dāng)模型網(wǎng)絡(luò)層比較復(fù)雜時,GPU 利用率很難被打滿,飛槳框架2.0版又創(chuàng)新性地推出了業(yè)內(nèi)首個通用異構(gòu)參數(shù)服務(wù)器功能,可以同時使用不同的硬件進行混合異構(gòu)訓(xùn)練,兼容了多款CPU、AI專用芯片(如百度昆侖XPU)、GPU(如V100、P40、K40),讓用戶可以在硬件異構(gòu)集群中部署分布式訓(xùn)練任務(wù),實現(xiàn)對不同算力芯片高效利用,為用戶提供更高吞吐、更低資源消耗的訓(xùn)練能力。

百度飛槳分布式訓(xùn)練業(yè)內(nèi)首創(chuàng)4D混合并行策略 可訓(xùn)千億級AI模型

  (飛槳全景圖)

  飛槳分布式訓(xùn)練不僅支持參數(shù)服務(wù)器模式訓(xùn)練萬億級稀疏參數(shù)模型,對于NLP 和 CV 這類擁有復(fù)雜網(wǎng)絡(luò)、稠密參數(shù)特點的模型訓(xùn)練,也同樣得心應(yīng)手。其優(yōu)勢在百度“語義理解技術(shù)與平臺文心ERNIE”上大有體現(xiàn),文心ERNIE采用了分布式訓(xùn)練中的集合通信模式,通過較少節(jié)點間的通信輪數(shù)完成全局節(jié)點的模型參數(shù)傳輸,大大提升通信效率,讓同步并行訓(xùn)練的多GPU擴展能力得到極大突破。當(dāng)前飛槳集合通信模式已經(jīng)可以支持文心ERNIE 2300億參數(shù)規(guī)模的訓(xùn)練,其提出的Sharding-DP策略更是助力文心ERNIE的多項任務(wù)分數(shù)刷新GLUE榜單。

百度飛槳分布式訓(xùn)練業(yè)內(nèi)首創(chuàng)4D混合并行策略 可訓(xùn)千億級AI模型

  (飛槳助力文心ERNIE刷新GLUE榜單)

  文心ERNIE作為百度在各大榜單刷分霸榜,搶占高地的“利器”,其在性能上的優(yōu)勢得益于飛槳的給力支持。文心ERNIE的千億級模型計算復(fù)雜,訓(xùn)練需占用T級顯存資源,想用更少的機器高效訓(xùn)練,必須采取一系列優(yōu)化措施。飛槳對此創(chuàng)新性地提出了4D混合并行策略,進一步優(yōu)化訓(xùn)練性能和顯存占比,再次走到了技術(shù)的前沿。

  4D混合并行策略能夠結(jié)合多種并行策略的優(yōu)點,將分布式訓(xùn)練技術(shù)與業(yè)務(wù)緊密結(jié)合。飛槳研發(fā)人員正是通過模型并行策略、分組參數(shù)切片組合、流水線并行策略和數(shù)據(jù)并行策略的多層疊加,發(fā)揮合力作用,誕生了業(yè)內(nèi)第一個4D混合并行策略。通過測試驗證,如此創(chuàng)新性提出的4D混合并行策略的訓(xùn)練速度的確高于3D混合并行策略,效果也十分明顯。

  自飛槳設(shè)計之初就開始潛心研究分布式訓(xùn)練技術(shù)以應(yīng)對大規(guī)模參數(shù)模型的訓(xùn)練任務(wù)。如今飛槳已經(jīng)開始研究下一代分布式技術(shù),來同時兼容超大規(guī)模稠密參數(shù)和稀疏參數(shù)模型的訓(xùn)練。

  隨著產(chǎn)業(yè)智能化基礎(chǔ)技術(shù)底座飛槳輸出應(yīng)用到各行各業(yè)的實際業(yè)務(wù)場景中,在城市、工業(yè)、能源、通信等領(lǐng)域發(fā)揮了重要價值。相信百度還將在技術(shù)上不斷創(chuàng)新進步,探索分布式訓(xùn)練技術(shù)等的邊界,擴展AI賦能的領(lǐng)域,為智能化時代的發(fā)展做出貢獻。

特別提醒:本網(wǎng)信息來自于互聯(lián)網(wǎng),目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾,并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系我們,本站將會在24小時內(nèi)處理完畢。

贊(0)
分享到: 更多 (0)
網(wǎng)站地圖   滬ICP備18035694號-2    滬公網(wǎng)安備31011702889846號
色妞WWW精品免费视频| 18精品久久久无码午夜福利| 日韩精品无码一区二区三区免费 | 亚洲AV无码之国产精品| 91精品一区二区| 午夜精品一区二区三区免费视频| 日韩人妻无码精品专区| 国产精品 视频一区 二区三区| 日韩在线观看高清视频| 日韩精品无码人妻一区二区三区| 蝌蚪久热精品视频在线观看| 国产精品大尺度尺度视频| 精品日产卡一卡二卡国色天香| 99精品国产高清一区二区| 亚洲av永久无码精品国产精品| 亚洲日韩精品一区二区三区| 精品国产一区二区22| 国产VA免费精品高清在线| 狼色精品人妻在线视频免费| 无码日韩人妻av一区免费| 日韩精品人妻系列无码av东京| 国产精品亚洲精品日韩已满| 亚洲乱人伦精品图片| 98精品国产高清在线看入口| 日韩av无码久久精品免费| 久久精品免费电影| 久久综合精品不卡一区二区| 国产精品成熟老女人视频| 精品久久久久久久久中文字幕| 亚洲精品国产美女久久久| 亚洲级αV无码毛片久久精品| 日韩A∨精品日韩在线观看| 三上悠亚国产精品一区| 伊人这里只有精品| 亚洲欧洲美洲无码精品VA| 国产精品网站在线观看免费传媒| 精品一卡2卡三卡4卡免费视频| 老司机99精品99| 亚洲国产精品自在在线观看| 99视频有精品视频免费观看| 78成人精品电影在线播放 |