來源：互聯(lián)網(wǎng)怪盜團(tuán)

在中文互聯(lián)網(wǎng)上，英偉達(dá)每天都在被顛覆。絕大部分自媒體和短視頻達(dá)人都討厭英偉達(dá)，包括周鴻祎在內(nèi)。他們千方百計(jì)地指出，某種替代品（不管是不是國產(chǎn)）的性能指標(biāo)已經(jīng)超過英偉達(dá)A100或H100，后者即將淪為資本市場歷史上最大的泡沫云云。尤其是在B站、小紅書這樣的平臺，英偉達(dá)將迅速被替代可以被視為一致觀點(diǎn)，反對這個(gè)觀點(diǎn)的人將遭到群嘲。

其實(shí)，海外互聯(lián)網(wǎng)同樣如此。昨天還有AI行業(yè)的朋友給我分享了一份自稱性能大幅超過英偉達(dá)的美國芯片廠商的自我介紹（是當(dāng)笑話看的）。幾個(gè)月前，芯片創(chuàng)業(yè)公司Groq發(fā)布了自稱性能大幅超越英偉達(dá)的推理芯片，引發(fā)了一定的市場關(guān)注度。不同之處在于，海外網(wǎng)友稍微講一點(diǎn)常識，知道英偉達(dá)在訓(xùn)練領(lǐng)域的壁壘實(shí)在太高、牢不可破，所以他們主要從推理環(huán)節(jié)入手：可以針對大模型推理開發(fā)某種高度特化的推理專用卡，在性能或性價(jià)比上超越英偉達(dá)，而且已經(jīng)有人做到了。這些觀點(diǎn)經(jīng)常被翻譯為中文，不過翻譯者經(jīng)常有意地把其中的海外芯片創(chuàng)業(yè)公司的名字偷換成A股上市公司（或某家非上市公司），從而達(dá)到不可告人的目的。

遺憾的是，至少在現(xiàn)在，以及可見的未來，英偉達(dá)在推理方面的壁壘仍然十分牢固?；蛟S它在推理方面的壁壘不如訓(xùn)練方面那么高，但只要競爭對手攻不破，就沒什么區(qū)別。對于絕大部分大模型開發(fā)商以及云計(jì)算廠商而言，AI算力建設(shè)只能以英偉達(dá)為核心（買不到的情況除外），不論是訓(xùn)練還是推理算力。在展開分析這個(gè)問題前，讓我們先簡明回顧一下訓(xùn)練和推理的區(qū)別：

• 訓(xùn)練，就是指創(chuàng)造和升級AI模型（包括但不限于大語言模型）的過程。訓(xùn)練環(huán)節(jié)涉及海量的數(shù)據(jù)，耗時(shí)極長，對算力的并發(fā)性需求極高，往往要一次動用幾千張到上萬張規(guī)模的顯卡集群。專門為訓(xùn)練做過優(yōu)化的顯卡俗稱大卡，其最典型的例子是英偉達(dá)A100、H100和B100。

• 推理，就是利用現(xiàn)有大模型解決用戶需求的過程。我們每向ChatGPT提一次問題，就啟動了一次推理流程。單次推理處理的數(shù)據(jù)規(guī)模往往較小，因此對算力硬件的要求不如訓(xùn)練那么高。英偉達(dá)專門為推理做過優(yōu)化的顯卡俗稱中卡，例如A20、L40；一些高端消費(fèi)級顯卡（俗稱小卡），例如RTX3和4系列，也可以用于推理。

英偉達(dá)的競爭對手，從AMD到英特爾，從Groq到華為，每天都在異口同聲地陳述同一個(gè)觀點(diǎn)：推理的門檻沒有硬件那么高，英偉達(dá)賴以生存的CUDA軟件生態(tài)以及顯卡互聯(lián)技術(shù)在推理端的作用有限，所以在推理端替代英偉達(dá)完全可行。事實(shí)又是如何？關(guān)鍵要看企業(yè)客戶，包括OpenAI這樣的大模型開發(fā)商以及亞馬遜、微軟這樣的云計(jì)算平臺商怎么看——畢竟是它們的技術(shù)團(tuán)隊(duì)和采購人員做出了顯卡采購的決定，而不是社交媒體網(wǎng)友。如果我們仔細(xì)分析一下主要科技企業(yè)今年以來的顯卡采購決策，就會驚訝地發(fā)現(xiàn)，事實(shí)與英偉達(dá)的競爭對手所鼓吹的完全相反：

AMD和英特爾的AI加速卡（其實(shí)就是推理卡）賣得都不怎么樣。其中，AMD的旗艦產(chǎn)品Instinct MI300的單季度銷售額不足10億美元，2024年全年的目標(biāo)也僅僅是賣出40億美元；英特爾的旗艦產(chǎn)品Gaudi 3就更慘了，2024年全年的銷售目標(biāo)不足10億美元。把這兩家的AI硬件銷售額加起來，恐怕都只有英偉達(dá)中卡銷量的一個(gè)零頭。在2024年一季度財(cái)報(bào)發(fā)布會上，蘇媽承認(rèn)AMD的推理卡目前不存在供給瓶頸，客戶可以隨時(shí)提貨；隔壁的英偉達(dá)幾乎所有產(chǎn)品線則都處于緊缺狀態(tài)。換句話說，大部分客戶寧可等上一兩個(gè)季度，也寧可買英偉達(dá)而不是AMD的產(chǎn)品。

與此同時(shí)，在硅谷出現(xiàn)了一個(gè)新的趨勢：盡可能多地采購大卡，把推理和訓(xùn)練一起交給大卡去做。例如，OpenAI將使用較新的H200承擔(dān)GPT-4o的推理任務(wù)；蘋果通過鴻海采購了數(shù)萬張H100，估計(jì)主要將用于推理工作；meta計(jì)劃在2024年之內(nèi)新增35萬張H100，其中很大一部分將用于推理；亞馬遜采購的首批3萬多張GB200超級芯片顯然將同時(shí)用于訓(xùn)練和推理。這充分說明，所謂英偉達(dá)在推理方面的護(hù)城河不深的說法是何等荒謬！如果上述說法是真的，那么除非大廠錢多燒得慌，否則完全沒有必要采購單價(jià)極高、供應(yīng)非常緊張的英偉達(dá)大卡承擔(dān)推理任務(wù)。當(dāng)然，這些大廠也會采購一點(diǎn)點(diǎn)AMD或英特爾的產(chǎn)品作為補(bǔ)充，每次都會引發(fā)后兩者的歡呼雀躍，恨不得讓全世界都知道。

為什么硅谷大廠要花更多的錢去采購專為訓(xùn)練優(yōu)化的大卡承擔(dān)推理任務(wù)？這既是出于技術(shù)考慮，也是出于綜合成本考慮。簡而言之：

1. 大卡的顯存更大、顯存帶寬更高，適合運(yùn)行參數(shù)規(guī)模巨大的大模型。目前主流大模型的參數(shù)規(guī)模均已突破萬億，而消費(fèi)者使用的一般是蒸餾過的、幾十億到幾百億參數(shù)的精簡版模型。中卡小卡足以運(yùn)行這些精簡版模型，但大型企業(yè)客戶可能需要運(yùn)行萬億規(guī)模參數(shù)的超級模型，那就非用大卡不可了。

2. 大卡的爆發(fā)性輸出能力更高、延遲較低，適合執(zhí)行高度時(shí)效性的推理任務(wù)，例如自動駕駛、國防軍工、金融交易等場景。最近流行的超長文本推理，對顯存的要求較高，大卡處理起來也更得心應(yīng)手。

3. 在AI算力中心當(dāng)中統(tǒng)一使用大卡，有助于降低硬件復(fù)雜度，實(shí)現(xiàn)較高的算力彈性和通用性。像OpenAI這樣的公司，一年之中有幾個(gè)月處于訓(xùn)練期，在此期間可以把自家大卡全部用于訓(xùn)練以保證速度，租用外部算力滿足推理需求；訓(xùn)練間歇期則可以少租外部算力，讓自家大卡轉(zhuǎn)而從事推理。

4. 大卡，尤其是B100/B200這種新款產(chǎn)品，最先應(yīng)用了英偉達(dá)的最新技術(shù)，從而有利于后續(xù)升級和再利用。哪怕幾年之后技術(shù)突飛猛進(jìn)，舊款大卡退下來還可以做別的工作，而舊款中卡小卡可能就沒有價(jià)值了。

上述四條原因，前兩條是技術(shù)上的，后兩條則是成本和管理上的。就像我的一位從事AI技術(shù)工作多年的朋友所說：其實(shí)是經(jīng)濟(jì)性讓大家投票選擇了英偉達(dá)，這就是市場的力量。由于上面是在英偉達(dá)自家的不同產(chǎn)品線之間做類比，我甚至都沒有提到CUDA軟件生態(tài)——過去十八年，全球上百萬開發(fā)者為CUDA積累了太多的開發(fā)工具和代碼，AMD的ROCm根本無法與之匹敵，英特爾就更是不值一提了。

現(xiàn)在假設(shè)有一種推理卡，不知道為什么竟能實(shí)現(xiàn)遠(yuǎn)高于英偉達(dá)的性能（可能是上帝顯靈），而且竟能克服缺乏CUDA生態(tài)的麻煩（這次上帝得多受累一點(diǎn)），并且紙面價(jià)格顯著低于英偉達(dá)（這一點(diǎn)極難做到），它也不一定能打敗英偉達(dá)?？蛻羰紫纫紤]通用性：專門為大語言模型推理特化的芯片，大概率無法拿來執(zhí)行任何其他任務(wù)，從而帶來了更高的機(jī)會成本。英偉達(dá)是通用計(jì)算GPU概念的提出者，通用概念就意味著靈活性和彈性。遠(yuǎn)的不說，最近幾年我們就能看到許多鮮活的案例：

2021-2022年，為了進(jìn)一步訓(xùn)練內(nèi)容推薦算法，以符合歐盟消費(fèi)者隱私要求，以及支持新推出的Reels短視頻功能，meta（原名Facebook）采購了大量英偉達(dá)大卡；當(dāng)然其中一部分也是為元宇宙研發(fā)準(zhǔn)備的。meta還成為了2022年發(fā)布的H100顯卡早期最重要的客戶之一。ChatGPT橫空出世之后，meta立即將手頭的算力資源投入生成式AI研發(fā)，迅速成為全球開源大模型領(lǐng)域的第一平臺。扎克伯格本人亦承認(rèn)，生成式AI浪潮來的時(shí)機(jī)很巧，meta非常幸運(yùn)——其實(shí)他更應(yīng)該感謝英偉達(dá)顯卡的通用性和普適性。

2019年前后，中國的云游戲產(chǎn)業(yè)處于井噴階段，資本市場對其有很高預(yù)期。包括阿里、騰訊和電信運(yùn)營商在內(nèi)的云計(jì)算大廠紛紛采購了大批英偉達(dá)RTX顯卡（初期主要是Turing架構(gòu)，后來亦有Ampere架構(gòu)）組建刀片服務(wù)器。雖然云游戲在國內(nèi)沒火起來，但是高端RTX顯卡具備張量核心(Tensor Core)，從而擁有一定的推理能力。在美國芯片法案的陰影之下，國內(nèi)廠商采購?fù)评砜ㄔ絹碓嚼щy，當(dāng)年積累的云游戲卡扮演了雪中送炭的角色；盡管它們的推理效率肯定比不上L40等中卡，但有總比沒有好。

（附帶說一句，為什么英偉達(dá)的消費(fèi)級顯卡也裝備了Tensor Core? 因?yàn)樗鼘τ诠饩€追蹤技術(shù)的實(shí)現(xiàn)扮演著不可或缺的角色，而光線追蹤能夠大幅提升游戲畫面的感染力。顯卡處理游戲內(nèi)部光影效果的方式，與處理大模型數(shù)據(jù)的方式，在硬件和數(shù)學(xué)層面是互通的。人類如果沒有強(qiáng)大的游戲產(chǎn)業(yè)，就很難建設(shè)強(qiáng)大的人工智能產(chǎn)業(yè)。）

我們不知道生成式AI產(chǎn)業(yè)的下一步走向是什么：Transformer架構(gòu)（現(xiàn)在所有大語言模型的基礎(chǔ)）誕生至今才七年多，第一個(gè)百億參數(shù)的大模型誕生至今才不到五年。就像許多學(xué)者指出的一樣，生成式AI有可能并不是實(shí)現(xiàn)通用人工智能(AGI)的必由之路。但是無論如何，有一點(diǎn)是確定的：未來的世界需要大量算力，尤其是并行的、以多核GPU為基礎(chǔ)的算力。當(dāng)生成式AI浪潮突然降臨之時(shí)，許多科技大廠都把自家的英偉達(dá)顯卡從自動駕駛、推薦算法訓(xùn)練、圖形渲染等任務(wù)迅速轉(zhuǎn)移到了大模型相關(guān)任務(wù)；這進(jìn)一步加深了它們對英偉達(dá)的信任和依賴。

此時(shí)此刻，全球科技巨頭用于擴(kuò)張算力的資本開支，普遍達(dá)到了每年幾百億美元的水平；坊間甚至傳聞微軟打算在一年之內(nèi)耗資1000億美元建設(shè)新的數(shù)據(jù)中心?；诉@么多的錢，它們肯定不希望自己買到的算力僅能用于非常狹窄的領(lǐng)域，不管其紙面性能好壞、價(jià)格高低。所以那些高度特化的推理卡，注定只能在巨頭的算力軍備競賽當(dāng)中扮演次要角色；AMD能扮演的角色可以更重要一點(diǎn)，但離英偉達(dá)這個(gè)主角還是差得很遠(yuǎn)。

就在本文撰寫的過程中，我的另一位從事AI行業(yè)多年的朋友告訴我：我們最近開始采購另一家公司的顯示芯片了。它的硬件規(guī)格是合格的，但是軟件適配是大問題，需要踩很多的坑。英偉達(dá)的CUDA開發(fā)團(tuán)隊(duì)?wèi)?yīng)該比硬件設(shè)計(jì)團(tuán)隊(duì)的規(guī)模要大得多，它的發(fā)布會上幾乎全是軟件生態(tài)工具，例如GPU虛擬化、一鍵部署。缺少了英偉達(dá)的軟件生態(tài)，我們就要自己雇人去實(shí)現(xiàn)這些能力。生態(tài)就是成本！沒有生態(tài)就要產(chǎn)生額外的開發(fā)成本。當(dāng)然，鑒于國內(nèi)現(xiàn)在越來越難買到英偉達(dá)的數(shù)據(jù)中心級顯卡，廠商只能硬著頭皮承擔(dān)成本；在有選擇的情況下，它們幾乎不會有動力這樣做。

至于五年、十年乃至二十年后呢？那就是另一個(gè)問題了。通用計(jì)算GPU這個(gè)概念誕生至今也只有十八年，NVlink技術(shù)也只有十年歷史。在長期，一切都是可以改變的，但是一切改變只能來自勤奮耕耘和咬定青山不放松的精神。請記住，2013年，當(dāng)黃仁勛操著半生不熟的普通話在北京國家會議中心的舞臺上說請給我一個(gè)機(jī)會介紹英偉達(dá)的時(shí)候，他已經(jīng)到處推銷自己的通用計(jì)算理念長達(dá)七年了；而他還要再等待整整九年，才能看到一切開花結(jié)果。當(dāng)時(shí)嘲笑他的人，和現(xiàn)在認(rèn)為可以輕易替代他的人，很可能是同一批人。

看完覺得寫得好的，不防打賞一元，以支持藍(lán)海情報(bào)網(wǎng)揭秘更多好的項(xiàng)目。

標(biāo)簽： 標(biāo)簽 內(nèi)容 隨筆