中文字幕在线视频第一页,黄色毛片在线看,日本爱爱网站,亚洲系列中文字幕一区二区

您當前的位置是:  首頁 > 資訊 > 文章精選 >
 首頁 > 資訊 > 文章精選 >

DCN 學院派丨智能無損DCN,釋放AI算力巔峰

2020-03-27 16:28:35   作者:王 雷 | 華為數據中心網絡總裁   來源:CTI論壇   評論:0  點擊:


  人類社會正在進入數字經濟增長周期。根據華為GCI調研結論,數字經濟的增長率是全球經濟增長率的2.5倍,數字經濟的投資收益率為非數字經濟的6.7倍,當數據成為驅動經濟增長的核心生產要素,誰掌握領先“數據基礎設施”才能贏得未來!我們知道,數據流動起來才能產生價值,而數據中心網絡就是數據流動的管道。那么,什么樣的數據中心網絡才能讓數據高效地流動起來,這就是本文的出發(fā)點。
  企業(yè)數字化轉型升級
  AI點石成金
  人類社會的發(fā)展在經歷了農業(yè)時代、工業(yè)時代后,隨著信息化技術的發(fā)展,終于迎來了數字經濟時代。據Gartner調研,75%的大型企業(yè)已經將數字化轉型作為企業(yè)核心戰(zhàn)略。與農業(yè)經濟關注土地和勞動,工業(yè)經濟關注資本和技術截然不同,數字經濟的核心生產要素已經轉變?yōu)閿祿椭悄堋F髽I(yè)數字化轉型過程中產生大量的數據,已經成為企業(yè)核心資產的一部分,然而數據本身不是目的,知識和智慧才是永恒的價值。通過AI從數據中挖掘智慧,實現數據的商業(yè)價值變現,成為當前企業(yè)數字化轉型的主題。AI成為企業(yè)重塑商業(yè)模式、提升客戶體驗和開創(chuàng)未來的關鍵推動力。+AI,標志著企業(yè)數字化轉型進入了智能化新階段。
  過去的幾年來企業(yè)對AI的采用率爆發(fā)式增長,據華為GIV(Global Industry Vision)預測,到2025年大企業(yè)對AI的采用率將達到97%。作為企業(yè)數據金礦的煉金術,AI點石成金,成為企業(yè)數字化轉型到智能化升級成敗的關鍵。AI技術的大量使用,驅動企業(yè)數據中心使命發(fā)生顛覆性變革。
  企業(yè)數據中心邁入AI時代
  釋放AI算力是關鍵
  企業(yè)智能化升級驅動數據中心從云時代邁入了AI時代。相比而言,云數據中心更像是個業(yè)務支撐中心,以應用為中心,通過云平臺實現IT資源的快速發(fā)放。而AI數據中心在云數據中心基礎上真正演進成為商業(yè)價值中心,以數據為中心,聚焦于如何基于AI對數據進行高效處理。
  AI驅動DC重構
  隨著數據中心AI時代到來,算力作為AI三大關鍵要素之一,需求更加旺盛和多樣化。算力貴、算力不足,已經成為時代挑戰(zhàn),更高算力的GPU、AI芯片相繼涌現。而另一方面,由于網絡丟包的原因導致昂貴的算力在實際應用中不能有效的發(fā)揮。如果說衡量一個云數據中心的關鍵指標是業(yè)務發(fā)放的效率,那么衡量AI數據中心的關鍵指標就是AI運行效率。
  如何提升AI數據中心的運行效率?
  充足AI算力是前提。我們知道,深度學習的神經網絡算法突破引爆了新一輪的AI浪潮,而深度學習需要到巨大的算力支撐,比如一次語音識別的AI訓練涉及到20E(1E=1018次方)次的浮點計算,而谷歌機器翻譯算力需求量達到103E,即便用全世界最高性能的超級計算機Summit來計算,也需要較長的時間。保證有充足的算力成為提升AI運行效率基本前提,以AWS、華為等為代表的公有云廠商領導者正在采用x86/ARM CPU,GPU,NPU構建業(yè)界最高性能的算力池。
  釋放算力是關鍵。以深度學習為特征的AI計算也依賴海量的數據的輸入(無論是AI訓練樣本算據還是AI推理涉及到原始算據的輸入)。裝載算力的GPU/AI服務器只有獲得完整算據后才能進行AI處理,否則只能空閑等待,因而數據的存取速度將直接影響算力的發(fā)揮。比如根據AWS公開數據顯示,公有云訓練實例P3采用100GE的優(yōu)化網絡,要比25G的TCP網絡在Mask R-CNN訓練中性能提升5倍;而在推理實例G4中,利用100GE優(yōu)化網絡,RestNet50模型推理性能提升4倍,Bert-Base模型推理性能提升多達34倍。同樣算力條件下,如何保證算力100%釋放甚至更為關鍵。
  AI數據中心架構重塑
  0丟包的無損網絡成為基本訴求
  當前的云數據中心建設基本思路是采用虛擬化技術對IT資源池化管理,通過Software Defined Everything思路完成資源的統(tǒng)一的按需自助/自動化發(fā)放,最終實現Everything as a Service的云化服務形態(tài)。而為了滿足數據中心充分釋放AI算力從而使得AI高效運行的訴求,面向AI時代的數據中心架構正在重塑。業(yè)界提出構建以全閃存存儲數據湖為核心,以GPU/AI多樣化計算為算力底座的AI時代數據中心架構,越來越得到廣泛認可。
  AI數據中心架構
  在AI數據中心新架構中,作為數據中心核心組成的存儲和計算正在發(fā)生顛覆性的變革:全閃存化存儲介質使得存儲時延降低百倍,GPU/AI智能計算使得計算性能提升百倍。計算和存儲的性能百倍提升導致傳統(tǒng)以太網的擁塞易丟包帶來的網絡瓶頸問題開始凸顯。根據業(yè)界統(tǒng)計,即便在低于<10%鏈路帶寬的低負載流量環(huán)境下,突發(fā)流量引起的網絡的丟包率也接近1‰,而這1‰的丟包在AI時代會直接導致算力下降接近50%。隨著業(yè)務負載的增加,分布式多打一流量的增多,網絡丟包問題將更為嚴重。
  如何構建一個0丟包的無損數據中心網絡成為面向AI時代的數據中心網絡的基本要求。
  業(yè)界首款內置AI芯片的交換機
  構筑智能無損DCN
  我們知道大規(guī)模網絡中,當流量超過交換機的處理和緩存能力時,傳統(tǒng)以太網基本的處理機制就是丟棄報文。無損網絡基本思路就是通過系列流量調度機制和措施,但其核心都在于控制發(fā)送端的發(fā)送速度,從而避免超過交換機處理能力的擁塞形成。
  如何根據交換機當前的擁塞情況控制源端的發(fā)送速度?當前業(yè)界基本的做法是在交換機端口設置隊列報文排隊,一旦超過某一個閾值(臨界水線),則意味著即將發(fā)生擁塞,需要緊急向源端反送反壓降速信號,從而降低發(fā)送速度規(guī)避擁塞。可以看出閾值非常關鍵,它決定發(fā)送反壓信號的時機,成為網絡中是否會發(fā)生擁塞的決定性因素,如何設置閾值是無損網絡技術創(chuàng)新的焦點。
  AS-IS傳統(tǒng)以太網:靜態(tài)設置,粗暴反壓
  最早的無損以太交換機的基本實現依賴網絡管理員靜態(tài)設置閾值,特別考驗管理員能力,一旦設置的太保守,可能降速太多,吞吐率很差;設置太激進則無法起到無損的效果。為了調整好閾值往往需要有經驗的工程師調測1~2天,而網絡無法根據流量的變化動態(tài)調整參數,流量模型一旦發(fā)生變化則最優(yōu)參數失效,基本無法在大規(guī)模、多業(yè)務的AI數據中心中使用。
  TO-BE智能無損DCN:智能預測,精準控制
  網絡擁塞控制的未來在于智能化,智能預測流量的變化,并自動設置相關的網絡參數,從而實現最佳網絡調度。2019年初,華為發(fā)布了業(yè)界首款面向AI時代的CloudEngine數據中心交換機,最大的創(chuàng)新點在于率先將AI芯片內嵌交換機中,基于神經網絡首創(chuàng)的iLossless擁塞控制算法,完成網絡的自調參、自優(yōu)化,從而克服了依賴人工參與配置參數,無法動態(tài)適應網絡流量模型變化的關鍵問題,真正實現網絡0丟包,構筑智能無損的數據中心網絡。
  智能無損DCN
  釋放AI算力巔峰
  基于CloudEngine交換機構筑的智能無損DCN,網絡性能已經無限逼近了理論最優(yōu)值,可以確保在任意擁塞鏈路0丟包的基礎上接近100%吞吐,全面釋放AI算力潛能。根據權威第三方測試機構Tolly測試,在同樣GPU集群下,通過采用華為智能無損DCN,AI業(yè)務的訓練效率比采用當前業(yè)界其他網絡提升27%以上。
  華為智能無損DCN
  華為智能無損DCN,助力Atlas900沖擊全球算力巔峰。作為全球性能最快的AI訓練集群Atlas 900由數千顆昇騰910 AI處理器組成的上百臺服務器節(jié)點互聯構成。而其中互聯網絡采用由華為數據中心的CloudEngine系列交換機組成的智能無損DCN,單端口提供100Gbps的交換速率,將集群內的所有AI服務器接入高速交換網絡。
  0丟包的智能無損DCN使得數據中心網絡實現三網融合成為可能,目前華為智能無損數據中心網絡AI Fabric已經在全球互聯網、金融、制造等行業(yè)數字化領導者客戶的47個數據中心商用部署,成為面向AI時代的最佳數據中心網絡解決方案。
  DCN 學院派
  網絡面臨的挑戰(zhàn)與云計算、人工智能等新技術的創(chuàng)新是相生相伴的。數據中心網絡(DCN)一直是網絡新技術的前沿陣地和實驗場,最新的網絡架構、最優(yōu)的網絡協議和最硬核的黑科技都在這里誕生并走向成熟,輻射并帶動產業(yè)的發(fā)展。
  DCN學院派將精選優(yōu)質內容,分享數據中心網絡最新的前沿趨勢、產業(yè)觀點和技術創(chuàng)新。




 
【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

專題

CTI論壇會員企業(yè)

林西县| 广州市| 肇源县| 华坪县| 凉城县| 化隆| 西峡县| 桐庐县| 昂仁县| 临沧市| 额敏县| 乐安县| 景泰县| 铅山县| 夏邑县| 长沙县| 辉县市| 渝北区| 上虞市| 昌宁县| 象州县| 洪江市| 崇阳县| 丰镇市| 阳谷县| 蓝田县| 绥芬河市| 会宁县| 通辽市| 龙川县| 浦东新区| 巍山| 南部县| 徐水县| 方正县| 保亭| 乐平市| 罗定市| 桂东县| 彭州市| 双峰县|