騰訊Angel獲世界互聯(lián)網(wǎng)大會領先科技獎:讓通信成本降低70%
快科技11月20日消息,2024年世界互聯(lián)網(wǎng)大會今日在浙江烏鎮(zhèn)開幕,騰訊獲得全新設立的世界互聯(lián)網(wǎng)大會杰出貢獻獎—創(chuàng)新突破類。
據(jù)“騰訊”公眾號介紹,騰訊Angel機器學習平臺也獲得了本年度世界互聯(lián)網(wǎng)大會領先科技獎。
騰訊稱,該獎項被視為科技行業(yè)的最高榮譽之一,在270個申報項目中,共有20個項目獲獎。
評選委員會點評騰訊Angel機器學習平臺:突破萬億級模型分布式訓練和推理以及大規(guī)模應用部署等難題。
據(jù)了解,突破主要在通信、效率、規(guī)模三方面實現(xiàn)。
通信:
從網(wǎng)卡到交換機,再到路由協(xié)議,騰訊自研的RDMA網(wǎng)絡實現(xiàn)了集群高速互聯(lián),單節(jié)點帶寬達到3.2T,相比于同類領先產品,性能提升30%,成本降低70%。
效率:
自研了訓練/推理框架,提出顯存加主存的一體化機制,實現(xiàn)多維并行和算子優(yōu)化,相比開源框架,訓練性能提升2.6倍,推理速度提升2.3倍。
規(guī)模:
實現(xiàn)了單任務萬卡的線性擴展,GPU集群加速比從50%提升到99%。
騰訊Angel機器學習平臺是干嘛的,如果你手握一堆數(shù)據(jù),想從零開始訓練一個大模型,整個過程可以分成三層,Angel會在中間層發(fā)揮作用。
其中,底層GPU、云服務器等計算硬件提供算力支持,中層是機器學習平臺,負責處理數(shù)據(jù)、開發(fā)算法和執(zhí)行訓練任務,上層是訓練好的大模型。
簡單來說,Angel機器學習平臺可以把一堆雜亂的數(shù)據(jù)經(jīng)過清洗、訓練、加工等工序,變成一個強大的大模型。
本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com



