• <strike id="aymay"></strike>
    <strike id="aymay"></strike>
    <ul id="aymay"><dfn id="aymay"></dfn></ul>
    <ul id="aymay"><sup id="aymay"></sup></ul>
  • <del id="aymay"></del>

    浪潮信息助力淮海智算中心,千億參數(shù)AI大模型訓練算力效率超50%

    2023-02-21 15:36 來源:美通社 作者:電源網

    北京2023年2月20日 /美通社/ -- 近日,淮海智算中心攜手浪潮信息進行了超大規(guī)模參數(shù)AI大模型訓練性能測試,實測數(shù)據(jù)表明,千億參數(shù)規(guī)模的自然語言AI單體大模型在淮海智算中心計算平臺上的訓練算力效率達53.5%,刷新了業(yè)內AI大模型訓練算力效率新高。這意味著淮海智算中心將可為國內生成式AI創(chuàng)新團隊提供高性能、高效率的AI大模型訓練算力服務。

    生成式AI需要基于海量的自然語言或多模態(tài)數(shù)據(jù)集,對擁有巨大參數(shù)的超大規(guī)模AI模型進行訓練,其訓練所需AI算力當量非常高,如以PD(Petaflops-Day)為單位來衡量,OpenAI的GPT-3大模型訓練的算力當量為3640PD,而浪潮"源1.0"大模型的算力當量則為4095PD。

    超大規(guī)模AI大模型的訓練一般必須在擁有成百上千加速卡的AI服務器集群上進行,如何在AI計算集群上獲得更高的訓練算力效率則會直接影響到模型訓練時長以及算力消耗成本,這對于提升生成式AI研發(fā)創(chuàng)新效率有著非常重要的影響。據(jù)公開資料表明,GPT-3大模型在其V100 GPU集群上的訓練算力效率為21.3%,而浪潮"源1.0"的訓練算力效率則達到了44.8%。

    針對AI大模型訓練的計算特點,浪潮信息AI團隊對淮海智算中心算力系統(tǒng)進行了專業(yè)設計,對集群架構、高速互聯(lián)、算力調度等方面進行全面優(yōu)化,在系統(tǒng)架構上,采用單節(jié)點集成8顆加速器的AI服務器,節(jié)點內加速器間實現(xiàn)超高速P2P通信,節(jié)點間建立極低延遲、超高帶寬的Infiniband通信網絡。在大模型訓練技術層面,成功運用了中文巨量AI模型"源1.0"的訓練優(yōu)化經驗,對分布式訓練策略進行了針對性優(yōu)化,通過合理設計張量并行、流水并行和數(shù)據(jù)并行,精準調整模型結構和訓練過程的超參數(shù),最終實現(xiàn)了千億參數(shù)規(guī)模AI大模型的訓練算力效率達到53.5%。

    千億參數(shù)AI模型結構及其實際性能表現(xiàn)
    千億參數(shù)AI模型結構及其實際性能表現(xiàn)

    千億參數(shù)AI模型結構及其實際性能表現(xiàn)

    淮海智算中心由安徽省宿州市與浪潮共同推進建設,目標是建成技術先進、架構開放、應用豐富、生態(tài)完善的國內領先智算樞紐。淮海智算中心將依靠領先的算力、算法基礎設施,開放的技術架構,成熟豐富的生態(tài)應用,面向全國提供智能算力、數(shù)據(jù)和算法服務,打造良好的智算產業(yè)生態(tài)。

    浪潮 海智算中心 AI

    一周熱門

    主站蜘蛛池模板: 国语自产精品视频在线区| 精品国产污污免费网站入口在线| 国精品无码一区二区三区左线| 久久久久无码国产精品不卡| 亚洲精品第一国产综合精品99 | 一本大道无码日韩精品影视| 亚洲AV永久无码精品成人| 99久久精品日本一区二区免费| 91人前露出精品国产| 久久精品一区二区三区中文字幕| 无码国产精品一区二区免费式芒果| 色欲久久久天天天综合网精品| 国产成人精品日本亚洲专区| 日本精品久久久久久久久免费| 老司机性色福利精品视频| 久久99精品免费一区二区| 国产精品亚洲精品观看不卡| 自拍偷在线精品自拍偷| 国产精品无打码在线播放| 亚洲AV无码成人精品区天堂 | 精品国产青草久久久久福利| 亚洲欧美精品AAAAAA片| 久久亚洲国产精品五月天婷| 老司机国内精品久久久久| 国产成人vr精品a视频| 久久亚洲国产欧洲精品一| 欧美一区二区精品久久| 精品久久一区二区三区| 国产午夜无码精品免费看动漫| 在线亚洲精品福利网址导航| 亚洲国产综合精品中文字幕 | 国产一区二区精品久久凹凸| 99热这里只有精品在线| 国产免费久久精品99久久| 国内精品99亚洲免费高清| 99国产精品私拍pans大尺度| 久久亚洲AV永久无码精品| 亚洲精品午夜国产VA久久成人| 精品亚洲欧美无人区乱码 | 国产乱子伦精品免费视频| 中文字幕精品无码一区二区三区 |