數(shù)據(jù)家,idc官網(wǎng),算力,裸金屬,高電機(jī)房,邊緣算力,云網(wǎng)合一,北京機(jī)房,北京云計(jì)算,北京邊緣計(jì)算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機(jī)房相關(guān)技術(shù)新聞最新報(bào)道
4月15日消息，Gartner近期發(fā)布的2024年CIO和技術(shù)高管調(diào)研顯示，超過60%的中國企業(yè)計(jì)劃在未來12至24個月內(nèi)部署生成式人工智能(GenAI)。由于中國企業(yè)傾向于在本地而非通過公有云部署GenAI，目前的基礎(chǔ)設(shè)施環(huán)境無法支持GenAl項(xiàng)目，這將推動中國企業(yè)數(shù)據(jù)中心的設(shè)計(jì)轉(zhuǎn)型。
Gartner研究總監(jiān)張吟鈴表示：“由于安全和數(shù)據(jù)隱私方面的擔(dān)憂以及監(jiān)管要求，一些企業(yè)更傾向于在本地部署GenAl解決方案或微調(diào)大語言模型(LLM)。在本地部署GenAl對于數(shù)據(jù)中心來說并不僅僅是一個簡單的托管需求，而是可能改變企業(yè)數(shù)據(jù)中心的戰(zhàn)略，因?yàn)槟Ｐ陀?xùn)練需要大規(guī)模的GPU集群?！?/p>
Gartner定義了五種GenAl部署方法(見圖1)。根據(jù)企業(yè)選擇的GenAI部署方法，中國的首席信息官(CIO)及基礎(chǔ)設(shè)施和運(yùn)營(I&O)領(lǐng)導(dǎo)者需要了解GenAI部署的影響以及如何采取行動。
圖1：生成式人工智能部署的五種方法
idc網(wǎng),算力,裸金屬,高電機(jī)房,邊緣算力,云網(wǎng)合一,北京機(jī)房,北京云計(jì)算,北京邊緣計(jì)算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機(jī)房
Gartner：生成式AI將推動中國企業(yè)數(shù)據(jù)中心設(shè)計(jì)轉(zhuǎn)型
中國的CIO及I&O領(lǐng)導(dǎo)者須為應(yīng)對這一技術(shù)對數(shù)據(jù)中心的影響做好準(zhǔn)備。
本地部署GenAI將迫使I&O領(lǐng)導(dǎo)者改變托管環(huán)境的設(shè)計(jì)方式
部署GenAI對數(shù)據(jù)中心的影響取決于所運(yùn)行的工作負(fù)載類型，因?yàn)槟承〨enAI工作負(fù)載需要使用高端圖形處理器(GPU)。由于中國市場上的高端GPU供應(yīng)有限，I&O領(lǐng)導(dǎo)者要在本地部署GenAI就需要改變托管環(huán)境的設(shè)計(jì)方式。
I&O領(lǐng)導(dǎo)者無法獨(dú)自解決供應(yīng)短缺問題，必須與業(yè)務(wù)、AI工程師和職能團(tuán)隊(duì)合作應(yīng)對這一挑戰(zhàn)。
張吟鈴表示：“為GenAl的部署準(zhǔn)備基礎(chǔ)設(shè)施資源的中國CIO及I&O領(lǐng)導(dǎo)者應(yīng)該主動與業(yè)務(wù)及相關(guān)團(tuán)隊(duì)合作，預(yù)測不同工作負(fù)載對數(shù)據(jù)中心的成本和時間表的影響，從而為GenAl的部署制定數(shù)據(jù)中心宏觀戰(zhàn)略。如果訓(xùn)練模型需要高端GPU集群，則需要通過平衡成本、風(fēng)險(xiǎn)和機(jī)遇(如購買替代硬件或租賃GPU資源)，充分了解各類托管方案?！?/p>
部署大規(guī)模GPU集群需要改造并升級數(shù)據(jù)中心基礎(chǔ)設(shè)施和設(shè)備
從零開始構(gòu)建基礎(chǔ)模型或微調(diào)模型需要部署大規(guī)模GPU集群，這將對現(xiàn)有數(shù)據(jù)中心帶來顛覆。因?yàn)镚enAI模型的訓(xùn)練需要高吞吐量、低延遲和無損的基礎(chǔ)設(shè)施。為了支持此類高性能計(jì)算集群，必須對網(wǎng)絡(luò)、存儲、電力供應(yīng)和冷卻系統(tǒng)進(jìn)行升級。在某些情況下，需要對現(xiàn)有設(shè)施進(jìn)行改造，以承載升級后的基礎(chǔ)設(shè)施(見圖2)。
圖2：大規(guī)模GPU集群對數(shù)據(jù)中心的影響
Gartner：生成式AI將推動中國企業(yè)數(shù)據(jù)中心設(shè)計(jì)轉(zhuǎn)型
張吟鈴表示：“中國CIO及I&O領(lǐng)導(dǎo)者需要與數(shù)據(jù)科學(xué)家和工程師合作，明確GPU集群規(guī)模和GenAI性能要求，從而確定網(wǎng)絡(luò)和存儲等方面的基礎(chǔ)設(shè)施要求。同時，也需要分析電力需求、冷卻效率、機(jī)架、空間等，確定現(xiàn)有數(shù)據(jù)中心環(huán)境在部署大型GPU集群方面存在的差距。平衡時間和成本，選擇最適合的數(shù)據(jù)中心改造方案。”
