來(lái)源：互聯(lián)網(wǎng)怪盜團(tuán)

今天凌晨的蘋果WWDC證實(shí)了一點(diǎn)：AI推理算力將長(zhǎng)期處于云端為主的狀態(tài)，這個(gè)長(zhǎng)期至少是三到五年。是的，蘋果與OpenAI建立了戰(zhàn)略合作，計(jì)劃將下一代iOS系統(tǒng)與ChatGPT深度融合；但是絕大部分生成式AI推理，包括文字和圖片生成任務(wù)，仍將上傳到ChatGPT的數(shù)據(jù)中心，在云端完成。關(guān)于這一點(diǎn)，OpenAI在公告中已經(jīng)說(shuō)得很清楚了。蘋果的端側(cè)AI主要仍局限于軟件層面。

如果連蘋果都做不到推理算力的端側(cè)化，那么其他手機(jī)廠商就更做不到了。PC端可能比移動(dòng)端的進(jìn)展稍微好一點(diǎn)，但是在可見(jiàn)的未來(lái)，大部分AI PC（包括桌面工作站）仍將基于英偉達(dá)的桌面級(jí)顯卡，而且只能執(zhí)行參數(shù)規(guī)模相對(duì)較小的（蒸餾后的）大模型推理。無(wú)論從技術(shù)角度還是成本角度考慮，大模型及應(yīng)用開發(fā)商都會(huì)更樂(lè)意在云端即數(shù)據(jù)中心完成大部分推理任務(wù)。資本市場(chǎng)再次認(rèn)識(shí)到了這一點(diǎn)，所以WWDC舉行之后，蘋果股價(jià)下跌而英偉達(dá)股價(jià)微漲。

在未來(lái)很長(zhǎng)一段時(shí)間里，我們不必過(guò)多考慮端側(cè)算力。既然如此，國(guó)內(nèi)AI算力緊缺的問(wèn)題，就不可能通過(guò)發(fā)展所謂端側(cè)算力的方式去解決。自從2022年11月底ChatGPT橫空出世以來(lái)，國(guó)內(nèi)AI算力幾乎始終處于緊缺狀態(tài)，這是由下列因素共同決定的：

全球AI算力均十分緊缺，尤其在制造端，英偉達(dá)H系列顯卡僅能由臺(tái)積電代工（三星不行），產(chǎn)能瓶頸將持續(xù)到多年以后。

美國(guó)芯片出口禁令日益嚴(yán)格，尤其在2023年下半年的全方位加強(qiáng)之后，許多后門被堵上了，國(guó)內(nèi)廠商采購(gòu)數(shù)據(jù)中心級(jí)顯卡的難度與日俱增。

我們知道，AI大模型所需算力分為訓(xùn)練和推理兩種，前者的要求更高一些；國(guó)內(nèi)的現(xiàn)狀則是兩種算力都缺乏。諷刺的是，前幾年國(guó)內(nèi)發(fā)展云游戲期間，互聯(lián)網(wǎng)大廠和電信運(yùn)營(yíng)商均采購(gòu)了一批英偉達(dá)Turing架構(gòu)的顯卡用于架設(shè)RTX刀片服務(wù)器，這些顯卡可以用于AI推理；如果沒(méi)有云游戲，國(guó)內(nèi)推理算力的瓶頸將更加嚴(yán)重。中國(guó)游戲產(chǎn)業(yè)是一個(gè)任勞任怨的背鍋產(chǎn)業(yè)，誰(shuí)都能來(lái)踩一腳，誰(shuí)都能污名化，但是拯救所謂硬科技產(chǎn)業(yè)偏偏還得靠它！

即便如此，國(guó)內(nèi)AI推理算力的供需關(guān)系仍然十分緊張。所以，過(guò)去一個(gè)月國(guó)產(chǎn)大模型的降價(jià)舉措，很大程度上僅僅是行為藝術(shù)罷了。尤其是對(duì)于B端客戶而言，無(wú)論大模型API的調(diào)用價(jià)格降到多低，關(guān)鍵在于能不能買到量。現(xiàn)在的問(wèn)題就是有價(jià)無(wú)市：只有極小規(guī)模的采購(gòu)才能以刊例價(jià)執(zhí)行，稍大規(guī)模的采購(gòu)就必須找銷售人員單獨(dú)洽談并排隊(duì)，實(shí)際成交價(jià)格難以預(yù)料（肯定遠(yuǎn)高于刊例價(jià)）。

不要說(shuō)B端用戶，哪怕C端用戶也能感受到推理算力的緊張：國(guó)內(nèi)的幾個(gè)最流行的AI大模型應(yīng)用，免費(fèi)用戶在高峰期幾乎一定會(huì)遇到需要排隊(duì)的狀況，必須充值或打賞才能加快進(jìn)度。要知道，目前國(guó)內(nèi)主流生成式AI應(yīng)用的DAU普遍只有幾百萬(wàn)量級(jí)，推理算力就已經(jīng)如此匱乏；如果真的出現(xiàn)上億DAU的AI超級(jí)應(yīng)用，算力幾乎肯定是跟不上的——所以目前國(guó)內(nèi)不可能出現(xiàn)這樣的超級(jí)應(yīng)用。（注：文心一言和通義千問(wèn)均自稱累計(jì)用戶超過(guò)1億、每日API調(diào)用次數(shù)超過(guò)1億，但是與1億DAU還差很遠(yuǎn)；豆包估計(jì)也差很遠(yuǎn)。）

可以想象，比推理要求更高的訓(xùn)練算力更加緊缺。2024年2月，字節(jié)跳動(dòng)在一篇論文當(dāng)中公布了它于前一年9月組建的萬(wàn)卡集群。遺憾的是，它是由1.2萬(wàn)張（比較落后的）A100顯卡組成，而美國(guó)科技巨頭早已換上了由（更先進(jìn)的）H100組成的萬(wàn)卡集群，例如meta的LLaMA-3就是由2.5萬(wàn)張H100組成的集群訓(xùn)練的；以亞馬遜為代表的云計(jì)算大廠正在積極轉(zhuǎn)向（更更先進(jìn)的）B100及GB200算力集群。A系列顯卡發(fā)布于2020年，當(dāng)時(shí)芯片禁令尚未出臺(tái)，國(guó)內(nèi)采購(gòu)沒(méi)有多大障礙；H系列發(fā)布于2022年，芯片禁令已經(jīng)出臺(tái)，但是國(guó)內(nèi)仍然可以通過(guò)采購(gòu)專供版（主要是H800）的方式繞過(guò)；B系列于2024年發(fā)布，此時(shí)繞過(guò)芯片禁令的途徑已經(jīng)非常狹窄、朝不保夕。

長(zhǎng)期、嚴(yán)重的算力瓶頸，給國(guó)內(nèi)AI產(chǎn)業(yè)帶來(lái)了兩個(gè)深刻影響。首先，算力緊缺意味著算力價(jià)格高昂（無(wú)論以自購(gòu)顯卡還是租用的形式），國(guó)內(nèi)所有大模型廠商的售價(jià)均無(wú)法覆蓋訓(xùn)練+推理成本，有些甚至無(wú)法覆蓋邊際推理成本，賣一單虧一單（最近一波降價(jià)之后可能虧的更嚴(yán)重）。其次，國(guó)內(nèi)大部分算力集中在少量科技大廠手中，創(chuàng)業(yè)公司高度依賴它們，十分渴望它們以算力的方式投資入股。 結(jié)論就是大模型創(chuàng)業(yè)在國(guó)內(nèi)是一門非常差的生意，遠(yuǎn)遠(yuǎn)比不上當(dāng)年的移動(dòng)互聯(lián)網(wǎng)創(chuàng)業(yè)。

下面我們不妨以問(wèn)答的形式，進(jìn)一步說(shuō)明國(guó)內(nèi)AI算力的現(xiàn)狀。問(wèn)題是市場(chǎng)上最關(guān)心的那些問(wèn)題，回答則不是來(lái)自我本人，而是來(lái)自我在云計(jì)算和AI行業(yè)的信賴的朋友，我只是總結(jié)他們的答案罷了。

問(wèn)：目前國(guó)內(nèi)AI算力儲(chǔ)備及分布狀況大致如何？

答：先說(shuō)訓(xùn)練使用的大卡。如果把A100-800、H100-800均算作大卡的話，那么國(guó)內(nèi)的大卡儲(chǔ)備肯定超過(guò)六位數(shù)，甚至可能超過(guò)了20萬(wàn)張。問(wèn)題在于隨著技術(shù)進(jìn)步，A系列已經(jīng)很難再被視為大卡了。如果按照扎克伯格所謂的H100等效算力，國(guó)內(nèi)的儲(chǔ)備肯定不超過(guò)六位數(shù)，而僅僅meta一家的H100等效算力就已經(jīng)超過(guò)了30萬(wàn)張，2024年底將突破65萬(wàn)張，遠(yuǎn)遠(yuǎn)超過(guò)了國(guó)內(nèi)所有大廠的算力儲(chǔ)備之和。

具體到算力分布，有兩個(gè)標(biāo)準(zhǔn)：第一是掌握的算力，第二是能調(diào)用的算力。阿里這樣的云計(jì)算大廠掌握了巨大的算力，但其中很大一部分要出租給客戶，自家大模型訓(xùn)練和推理能調(diào)用的算力未必有絕對(duì)優(yōu)勢(shì)。如果只計(jì)算掌握的算力，國(guó)內(nèi)第一的無(wú)疑是阿里，其次是百度、字節(jié)跳動(dòng)，騰訊可能更少一點(diǎn)。掌握一兩千張大卡的互聯(lián)網(wǎng)公司很多，因?yàn)閮?nèi)容推薦算法、自動(dòng)駕駛訓(xùn)練等環(huán)節(jié)都需要。

至于推理算力的分布就更加駁雜了。上文提到過(guò)，云游戲使用的顯卡可以承擔(dān)一定的推理任務(wù)，目前國(guó)內(nèi)的推理算力可能有很大一部分來(lái)自以前的云游戲算力。

問(wèn)：怎么看AI算力的國(guó)產(chǎn)替代？

答：在訓(xùn)練端難度極大，哪怕某些國(guó)產(chǎn)顯卡自稱其技術(shù)參數(shù)能達(dá)到A100的水平，它們也不具備NVlink互聯(lián)技術(shù)和CUDA開發(fā)環(huán)境，從而無(wú)法承擔(dān)大模型訓(xùn)練使命。況且，A100是英偉達(dá)2020年發(fā)布的產(chǎn)品，在2024年追上前者四年前的水平并無(wú)先進(jìn)性可言。大模型不是原子彈，它是一種重視性價(jià)比的民用商品，使用非主流硬件開發(fā)出來(lái)的大模型可能毫無(wú)商業(yè)價(jià)值可言。

但是在推理端，不是完全沒(méi)有可能，因?yàn)橥评砜▽?duì)NVlink和CUDA的依賴程度很小。英偉達(dá)在推理端的城墻仍然很高，但是比起訓(xùn)練端就要差了不少。問(wèn)題在于，推理算力的技術(shù)路線也在不斷變遷，技術(shù)變遷的領(lǐng)導(dǎo)者還是英偉達(dá)。假如有選擇的話，主流大廠肯定樂(lè)意采購(gòu)英偉達(dá)的推理解決方案。國(guó)內(nèi)廠商的問(wèn)題是在芯片禁令之下沒(méi)有選擇，在推理端進(jìn)行國(guó)產(chǎn)替代總歸比沒(méi)有強(qiáng)。

問(wèn)：怎么看Groq以及國(guó)內(nèi)某些廠商推出的遠(yuǎn)超英偉達(dá)的推理卡？

答：在高度特化的技術(shù)路線下，確實(shí)有可能做出表觀技術(shù)遠(yuǎn)超英偉達(dá)同期產(chǎn)品的推理卡——但是付出的代價(jià)是應(yīng)用場(chǎng)景十分狹窄。這樣的顯卡不僅只勝任大模型推理，甚至可能僅勝任某一特定類型的推理。大廠建立數(shù)據(jù)中心需要考慮通用性以及后續(xù)升級(jí)需求，高度特化的顯卡無(wú)法滿足這些需求。上面提到過(guò)，云游戲使用的顯卡可以用于推理，但高度特化的推理卡可以執(zhí)行圖形渲染任務(wù)嗎？可以執(zhí)行自動(dòng)駕駛等非生成式的推理任務(wù)嗎？

而且，硅谷那些不差錢的大廠，現(xiàn)在流行以大卡同時(shí)執(zhí)行訓(xùn)練和推理任務(wù)：速度更快、更具靈活性、管理起來(lái)更方便。你的訓(xùn)練任務(wù)在全年之中不是平均分布的，可能這三個(gè)月訓(xùn)練消耗的算力多一些，接下來(lái)推理消耗的算力多一些，統(tǒng)一組建大卡集群有助于提升靈活性。當(dāng)然，這樣做不夠經(jīng)濟(jì)，所以推理任務(wù)主要還是得由推理卡去執(zhí)行。我只是想說(shuō)，英偉達(dá)在訓(xùn)練端和推理端的護(hù)城河是相輔相成的，不是彼此孤立的。

問(wèn)：繞過(guò)芯片禁令的可能性大嗎？目前大家的替代方案是什么？

答：很多人認(rèn)為，芯片禁令可以以非正常手段繞過(guò)。但他們忽視了兩點(diǎn)：第一，英偉達(dá)高端顯卡近年來(lái)一直供不應(yīng)求，所以不存在龐大的二手及散貨市場(chǎng)，哪怕是海外大廠淘汰下來(lái)的顯卡一般也是內(nèi)部發(fā)揮余熱。第二，即便你能繞過(guò)英偉達(dá)官方銷售獲得一些顯卡，也無(wú)法獲得技術(shù)支持。

H系列和B系列訓(xùn)練卡都不是單片出售的，而是以服務(wù)器（訓(xùn)練機(jī)）為單位出售。B系列訓(xùn)練機(jī)已經(jīng)非常像高端數(shù)控機(jī)床這樣的高精尖設(shè)備，內(nèi)部可以植入地理位置判斷系統(tǒng)，發(fā)現(xiàn)地理位置偏移之后可以自動(dòng)停機(jī)。所以無(wú)論在理論上還是實(shí)踐中，只要英偉達(dá)愿意認(rèn)真執(zhí)行芯片禁令，就是很難繞過(guò)的。雖然英偉達(dá)肯定愿意多賣幾個(gè)客戶、開拓中國(guó)市場(chǎng)，但現(xiàn)在它的顯卡反正不愁賣，短期內(nèi)也不可能主動(dòng)承擔(dān)破壞禁令的風(fēng)險(xiǎn)。

當(dāng)然，一切都是可以談的。只要雙方都想認(rèn)真做生意，拿出一些東西做交換，沒(méi)有什么生意是一定做不成的。關(guān)鍵看大家做生意的意愿有多強(qiáng)烈了！我們不能低估解決問(wèn)題的難度——因?yàn)橹挥谐浞止烙?jì)難度，才能站在現(xiàn)實(shí)角度解決問(wèn)題。片面低估難度并裝做問(wèn)題已經(jīng)解決是不可取的，相信真正的從業(yè)者不會(huì)這樣做。

看完覺(jué)得寫得好的，不防打賞一元，以支持藍(lán)海情報(bào)網(wǎng)揭秘更多好的項(xiàng)目。

標(biāo)簽： 標(biāo)簽 內(nèi)容 隨筆