從“卷”訓(xùn)練到“重”推理,企業(yè)部署大模型的“芯”要求
相比2023年企業(yè)紛紛訓(xùn)練自己的大模型,2024年企業(yè)對大模型的關(guān)注轉(zhuǎn)向推理,以實(shí)現(xiàn)差異化和變現(xiàn)。
2024-04-18 09:45:42
來源:中國電子報(bào)、電子信息產(chǎn)業(yè)網(wǎng) 張心怡??

在消費(fèi)者對ChatGPT等消費(fèi)級AI應(yīng)用進(jìn)行嘗鮮和玩票之后,企業(yè)也迎來了AI發(fā)展的轉(zhuǎn)折點(diǎn)。相比2023年企業(yè)紛紛訓(xùn)練自己的大模型,2024年企業(yè)對大模型的關(guān)注轉(zhuǎn)向推理,以實(shí)現(xiàn)差異化和變現(xiàn)。一方面,企業(yè)部署大模型對計(jì)算架構(gòu)帶來了新的挑戰(zhàn);另一方面,企業(yè)對推理的重視,也使其對算力架構(gòu)的選擇走向多元。

“隨著越來越多的通用大模型被訓(xùn)練出來,今年企業(yè)的關(guān)注點(diǎn)轉(zhuǎn)向了推理。”英特爾公司市場營銷集團(tuán)副總裁、中國區(qū)數(shù)據(jù)中心銷售總經(jīng)理莊秉翰向《中國電子報(bào)》表示,“我們看到一些客戶愿意嘗試用CPU做大模型推理,還有一些互聯(lián)網(wǎng)公司,之前更多提供的是基于GPU的大模型服務(wù),現(xiàn)在也提供基于CPU的大模型,尤其是在推理上。”

企業(yè)迎來大模型部署浪潮 數(shù)據(jù)與模型結(jié)合成最大挑戰(zhàn)

企業(yè)級場景,正在成為AI大模型的藍(lán)海市場。市調(diào)機(jī)構(gòu)數(shù)據(jù)顯示,預(yù)計(jì)2026年80%的企業(yè)會使用生成式人工智能,至少50%的企業(yè)會在邊緣計(jì)算部署機(jī)器學(xué)習(xí)或者深度學(xué)習(xí),從而提升企業(yè)競爭力。在企業(yè)支出方面,預(yù)計(jì)企業(yè)在生成式人工智能的投資將在今年達(dá)到400億美元規(guī)模,到2027年達(dá)到1510億美元規(guī)模。

莊秉翰指出,企業(yè)AI的發(fā)展可以分為三個(gè)階段。一是AI輔助階段,AI作為企業(yè)的輔助工具,提供會議紀(jì)要總結(jié)、大綱提煉、文生圖等輔助功能。二是AI助手階段,AI賦能各領(lǐng)域的工作流程自動化,提供行程管理等助手型功能,以及面向客戶的智能客服功能。三是全功能AI階段,AI提供全方位、更精準(zhǔn)的自動化服務(wù),為企業(yè)經(jīng)營帶來更大價(jià)值。

無論是AI助手階段還是全功能AI階段,最大的挑戰(zhàn)都在于企業(yè)數(shù)據(jù)與通用模型的結(jié)合。

“企業(yè)對自己的數(shù)據(jù),比如傳統(tǒng)的數(shù)據(jù)如何保存使用,哪些數(shù)據(jù)應(yīng)該在公有云或者私有云使用,有很明確的規(guī)定。但是,現(xiàn)有AI模型大多是通用模型,一旦企業(yè)把數(shù)據(jù)上傳到這些AI模型再做提煉升華,就存在數(shù)據(jù)泄漏的風(fēng)險(xiǎn),也會對企業(yè)的競爭力帶來影響。所以我們提出企業(yè)AI的概念,其核心在于以更加開放、更具規(guī)模性、更加可靠的方式,幫助企業(yè)釋放AI潛力?!鼻f秉翰向記者表示。

按照技術(shù)架構(gòu),企業(yè)AI能力的構(gòu)建可以分為四個(gè)層次。一是兼具可獲取性和隱私性的底層算力。二是具備可擴(kuò)展性和標(biāo)準(zhǔn)化的基礎(chǔ)設(shè)施。比如企業(yè)在私有云部署AI,可能采用單節(jié)點(diǎn)、多節(jié)點(diǎn)或者平均式的部署,或者根據(jù)企業(yè)的發(fā)展規(guī)劃從單節(jié)點(diǎn)小集群逐步走向更大的集群,這就需要算力基礎(chǔ)設(shè)施具備可擴(kuò)展性和標(biāo)準(zhǔn)化。三是安全可靠的軟件生態(tài)。四是便捷開放的應(yīng)用生態(tài)。

面向企業(yè)AI的部署需求,英特爾搭建了算力、基礎(chǔ)設(shè)施、軟件、應(yīng)用四層生態(tài)的開放生態(tài)堆棧。其中算力生態(tài)包含基于酷睿處理器、vPRO商用PC芯片平臺的AI PC,基于至強(qiáng)處理器、Gaudi AI加速芯片、ARC顯卡的邊緣AI與數(shù)據(jù)中心AI。基礎(chǔ)設(shè)施生態(tài)包含OEM、ODM、CSP(云端服務(wù)供應(yīng)商)、OSV(操作系統(tǒng)集成商)等。

比如在英特爾與金山云的合作中,金山云在云服務(wù)器 X7 中引入了第四代至強(qiáng)可擴(kuò)展處理器,并基于英特爾AMX原生加速能力發(fā)布了StableDiffusion、LLaMa2、ChatGLM2三款針對X7服務(wù)器調(diào)優(yōu)的大模型鏡像。相較優(yōu)化之前的模型,基于AMX優(yōu)化的文生圖大模型 Stable Diffusion推理性能提升了4.96倍,Llama2 和 ChatGLM2優(yōu)化后的推理性能也分別提升了2.62倍和2.52倍。

英特爾公司市場營銷集團(tuán)副總裁、中國區(qū)云與行業(yè)解決方案部總經(jīng)理梁雅莉表示,英特爾與金山云合作的云服務(wù)器對客戶的吸引力來自三個(gè)方面。一是便捷的部署,即用戶無需部署專用的AI推理服務(wù)器,而是可以在通用云服務(wù)器的基礎(chǔ)上,通過調(diào)優(yōu)的大模型鏡像,快速、靈活地實(shí)現(xiàn)模型推理;二是成本優(yōu)化;三是除了大模型推理之外,用戶還可以調(diào)度金山云云服務(wù)器運(yùn)行其它工作負(fù)載,實(shí)現(xiàn)敏捷切換。

“企業(yè)在面對不同選擇之時(shí),會考慮幾點(diǎn)。第一是‘可及’,即該算力是能夠購買、能夠獲取,且是通用的;二是對性能的追求;三是在易部署的情況下,能夠擁有可靠的保障?!绷貉爬蛘f。

從注重訓(xùn)練走向注重推理 CPU成為AI推理選項(xiàng)

2023年,AI大模型迎來“百模大戰(zhàn)”的盛況。但在大模型走向落地期的過程中,企業(yè)越來越注重大模型的投入產(chǎn)出比和后續(xù)的盈利能力,這一點(diǎn)也反應(yīng)在企業(yè)對底層算力架構(gòu)的選擇上。

莊秉翰在接受《中國電子報(bào)》專訪時(shí)表示,2023年,企業(yè)對大模型的關(guān)注聚焦在訓(xùn)練,更注重性能,對成本和功耗沒有那么重視。由于企業(yè)都希望訓(xùn)練自己的通用大模型,也出現(xiàn)了“百模大戰(zhàn)”的現(xiàn)象。

隨著越來越多的通用大模型被訓(xùn)練出來,今年企業(yè)的關(guān)注點(diǎn)轉(zhuǎn)向了推理。對于企業(yè)來說,大模型是需要變現(xiàn)且能夠盈利的,但目前市場上的大模型大多基于開源,用做訓(xùn)練的數(shù)據(jù)也差不多,很難通過差異化來盈利。而企業(yè)AI能夠讓企業(yè)將自身數(shù)據(jù)融合在大模型的訓(xùn)練過程中,使大模型真正幫助企業(yè)解決業(yè)務(wù)上的問題,增強(qiáng)產(chǎn)品競爭力。

而企業(yè)對于大模型盈利能力的重視,也體現(xiàn)在對底層算力架構(gòu)的選擇上。莊秉翰表示,推理基于大規(guī)模的算力部署,需要對智算中心的成本、功耗以及整體的運(yùn)營運(yùn)維進(jìn)行考量。在這種趨勢下,一些企業(yè)正在嘗試用CPU做大模型推理。從許多案例可以看到,CPU可以支持130億參數(shù)規(guī)模以下大模型的推理。

“對一些企業(yè)來說,大模型部署處在初始階段。如果立即部署一個(gè)很大的GPU集群,對于運(yùn)維和開發(fā)來說都是很大的挑戰(zhàn)。如果采用逐步部署生成式人工智能的節(jié)奏,就可以通過CPU先來做一些大模型的應(yīng)用部署。當(dāng)不需要生成式大模型時(shí),還可以轉(zhuǎn)換到通用的應(yīng)用,這也是一種可以實(shí)現(xiàn)盈利的方式。我們看到一些客戶愿意嘗試用CPU做大模型推理,還有一些互聯(lián)網(wǎng)公司,之前更多提供的是基于GPU的大模型服務(wù),現(xiàn)在也提供基于CPU的大模型,尤其是在推理上。”莊秉翰向《中國電子報(bào)》記者表示。

而算力架構(gòu)的選擇,也與企業(yè)類型和所處階段息息相關(guān)。梁雅莉表示,企業(yè)要因地制宜,選擇最適合企業(yè)的人工智能策略,并基于該策略選擇最適合的基礎(chǔ)設(shè)施和架構(gòu)。

“對于頭部互聯(lián)網(wǎng)和大模型公司來講,今年面臨的挑戰(zhàn)是大模型的落地和變現(xiàn)。對于其他企業(yè)來說,如何挑選合適的大模型融入生產(chǎn)或業(yè)務(wù)流程以創(chuàng)造價(jià)值,是更重要的命題?!绷貉爬蛳颉吨袊娮訄?bào)》記者表示,“當(dāng)大模型和生成式人工智能熱度褪去,需要變現(xiàn)并產(chǎn)生價(jià)值的時(shí)候,就需要思考落地的經(jīng)濟(jì)適用性和最適合的方案?!?/p>

最新文章
1
研發(fā)投入高增、占營收比超5%,科沃斯、石頭科技升高技術(shù)壁壘
2
面對承壓的小家電市場,小熊、蘇泊爾上半年為何一降一增?
3
“向新”發(fā)展賦予激光顯示行業(yè)無限活力,150吋海信激光電視即將量產(chǎn)
4
大宅觀影的“巨幕時(shí)代”來臨!120吋海信激光電視星光S1 Max正式發(fā)布
5
全域協(xié)同、全局增長,2024快手雙11商家大會將于9月19日召開
6
快手科技2024年投資者日:以用戶為導(dǎo)向,借助AI賦能實(shí)現(xiàn)高質(zhì)量增長
7
快手可靈AI導(dǎo)演合作計(jì)劃開“拍” AIGC應(yīng)用師首次成規(guī)模入駐電影劇組 
8
小模型“反卷”大模型?適用才是真王道!
9
以10%面積代價(jià)實(shí)現(xiàn)汽車功能安全,Imagination發(fā)布新款GPU IP
10
產(chǎn)能不足、售價(jià)高昂、壽命問題,OLED電視的驚艷正在落幕
11
8月線下電視市場銷售額規(guī)模同比下降2.5%,75英寸占比上漲
12
8月中國家電出口量已公布,情況如何?
13
清潔電器“出海”
14
對標(biāo)華為!曝榮耀將量產(chǎn)三折疊屏:技術(shù)儲備不是問題
15
iPhone 16不香了!媒體:蘋果手機(jī)行情已大不如從前
16
洗衣機(jī)小幅反彈,為什么這些品牌率先在“洗凈比”上卷起來?
17
2024上半年,誰是電動兩輪車增長之王?
18
觀察:美的海外家電市場份額近5%,這個(gè)水平已經(jīng)不低了
19
天璣夜視儀!vivo X200樣張出爐:10倍變焦下夜景清晰可見
20
競速低空智聯(lián)網(wǎng)賽道,三大運(yùn)營商策略各不同
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512