2月16日凌晨，OpenAI發(fā)布旗下首個(gè)文生視頻模型Sora，Sora的推出屬于AI產(chǎn)業(yè)革命上的標(biāo)桿事件。面對(duì)Sora的遙遙領(lǐng)先，中國玩家還有的玩嗎？
Sora的沖擊時(shí)隔一年，在ChatGPT大火之后，Sora再一次演繹了出圈奇跡。對(duì)比ChatGPT的文字生成，Sora的文生視頻更直觀，更具爆發(fā)力，給人們帶來的沖擊力更大。
第一個(gè)沖擊，視頻生成時(shí)長(zhǎng)。
Sora憑借其強(qiáng)大的通用視覺數(shù)據(jù)處理，可以生成跨越不同持續(xù)時(shí)間、縱橫比和分辨率的圖像視頻，最多可以連續(xù)生成60秒的高清視頻。
在Sora推出之前，最長(zhǎng)的例如Kaiber也是只能生成16s的長(zhǎng)度，其他的文生視頻長(zhǎng)度都是個(gè)位數(shù)。如在2023年11月推出的模型中，最新的Pika1.0生成是3-7秒，Stable Video Diffusion模型是2-4秒，李飛飛谷歌團(tuán)隊(duì)W.A.I.T模型是3秒。
Sora的視頻生成時(shí)長(zhǎng)與競(jìng)爭(zhēng)對(duì)手間是代差的區(qū)別。
我們可以這樣理解Sora的視頻生成時(shí)長(zhǎng)：在對(duì)文字和圖像識(shí)別和生成的基礎(chǔ)上，Sora又疊加了時(shí)間的維度。這樣AI初步具有了對(duì)真實(shí)世界物理邏輯關(guān)系的理解，這就是為什么業(yè)內(nèi)會(huì)認(rèn)為Sora實(shí)現(xiàn)突破性的跨越的主要原因。
第二個(gè)沖擊，語義理解。
Sora與ChatGPT都是OpenAI的產(chǎn)品，可以說，Sora在語義理解上具有天然的優(yōu)勢(shì)。
Sora借助GTP-4將簡(jiǎn)短的用戶提示轉(zhuǎn)換為更長(zhǎng)的詳細(xì)字幕，然后發(fā)送到視頻模型，有助于Sora更好理解客戶需求。對(duì)比之下，Sora的主要對(duì)手Runway很難理解詞義上的細(xì)微差別，不得不堅(jiān)持提示中的特定描述而忽略其他描述。二者之間就這樣產(chǎn)生了差距。
此外，基于語義的理解，Sora采用DALL·E3的重標(biāo)注技術(shù)，通過為視覺訓(xùn)練數(shù)據(jù)生成詳細(xì)描述的標(biāo)題，使模型更加準(zhǔn)確地遵循用戶的文本指令生成視頻。在此視覺訓(xùn)練數(shù)據(jù)的基礎(chǔ)上，Sora還能實(shí)現(xiàn)現(xiàn)有圖片賦予動(dòng)態(tài)效果和延伸視頻內(nèi)容的長(zhǎng)度等多種功能。
語義理解加深了人機(jī)之間的互動(dòng)，讓Sora更智能，這是第二個(gè)突破。
第三個(gè)沖擊，電影級(jí)別的鏡頭感。
從發(fā)布的視頻來看，Sora生成視頻場(chǎng)景制作復(fù)雜度極高，可以和電影特效一較高下。業(yè)內(nèi)評(píng)價(jià)：在60秒的視頻中，視頻主體與背景之間高度流暢和穩(wěn)定；在一個(gè)視頻里實(shí)現(xiàn)多角度鏡頭，分鏡切換符合邏輯且十分流暢；此外，Sora對(duì)于光影反射、運(yùn)動(dòng)方式、鏡頭移動(dòng)等細(xì)節(jié)處理非常到位。
角色和背景在視覺風(fēng)格準(zhǔn)確一致，行為邏輯流暢合理，這就達(dá)到了電影的基本要求?？紤]到智能生成和人工拍攝在成本、創(chuàng)意等方面的差距，電影市場(chǎng)驚呼一片也就可以理解了。
與對(duì)手的差距很多投資機(jī)構(gòu)大概率不會(huì)再投文生視頻類項(xiàng)目了，因?yàn)镺penAI太強(qiáng)了。集智魔方創(chuàng)始人徐大大就公開表示，人工智能這一次的熱潮很難留下太多機(jī)會(huì)，反而可能即將面臨一個(gè)霸權(quán)式創(chuàng)業(yè)的時(shí)代。
也就是說，Sora橫空出世之后，其他的文生視頻模型的生存空間將被極度擠壓。
2024年AI視頻生成賽道選手眾多，不僅有美國AI初創(chuàng)公司Pika labs發(fā)布的Pika 1.0，還有谷歌推出的AI視頻生成模型W.A.L.T等。國內(nèi)，字節(jié)跳動(dòng)于2023年11月推出了文生視頻模型PixelDance，阿里緊隨其后也上線了Animate Anyone模型，百度文心大模型的類似功能則在內(nèi)測(cè)中，不久后會(huì)以插件形式開放。此外，騰訊、360、萬興科技、昆侖萬維、國脈文化、美圖等公司也紛紛涉足視頻生成領(lǐng)域。
業(yè)內(nèi)人士總結(jié)，Sora之前的AI視頻生成有兩種類型：一是由剪輯工具衍生出來的文生視頻產(chǎn)品。這類產(chǎn)品并不會(huì)根據(jù)文本內(nèi)容原生視頻素材，而是在素材庫內(nèi)進(jìn)行調(diào)用。二是由多模態(tài)大模型衍生出來的文生視頻產(chǎn)品，針對(duì)性地原生一部分素材的能力，如郭德綱說英語等。
但Sora不同。
Sora的獨(dú)特建立在對(duì)Patchs、Transformers、DALL·E3等技術(shù)的創(chuàng)新上。通過patchs統(tǒng)一視頻數(shù)據(jù)，就像大語言模型在語言層面統(tǒng)一文本代碼、數(shù)學(xué)和自然語言一樣；依托Diffusion Transformers等技術(shù)架構(gòu)，全面碾壓Runway等其他文生視頻模型；借鑒DALL·E3，在語義理解上全面勝出。依靠這些技術(shù)，Sora實(shí)現(xiàn)制作無縫循環(huán)視頻、給靜態(tài)圖片添加動(dòng)畫、擴(kuò)展視頻時(shí)間線、視頻到視頻編輯、視頻拼接等功能
總之，Sora的差距是技術(shù)的碾壓，遙遙領(lǐng)先是客觀事實(shí)。
我們的機(jī)會(huì)國內(nèi)選手應(yīng)該如何看待Sora的遙遙領(lǐng)先？
首先，正視而不是夸大這種差距。以ChatGPT來說，2023年ChatGPT橫空出世的時(shí)候，業(yè)內(nèi)一片震驚。起初搜狗創(chuàng)始人王小川認(rèn)為，OpenAI領(lǐng)先國內(nèi)3年時(shí)間，但2023年6月，他去硅谷做了一番考察后，認(rèn)為差距并沒有這么大，而且國內(nèi)應(yīng)用層做的更出色，起碼快美國三步。所以，看上去的差距實(shí)際上可能并沒有那么大。
事實(shí)也說明這一點(diǎn)，ChatGPT之后，國內(nèi)大模型接連出世，中美在大模型的競(jìng)爭(zhēng)上分列世界前兩名，彼此差距不大，且遠(yuǎn)遠(yuǎn)地把其他國家甩在身后。
其次，認(rèn)識(shí)并發(fā)揮中國AI的競(jìng)爭(zhēng)優(yōu)勢(shì)。
根據(jù)歷年來科技互聯(lián)網(wǎng)的發(fā)展經(jīng)驗(yàn)來看，中國往往在基礎(chǔ)研究的突破落后于美國，但在延伸應(yīng)用上卻走在美國的前面。
移動(dòng)支付、社交媒體、電商等方面中國都是后來居上。即使是近兩年大火的AI，中國也有一較之力。美國在辦公、金融、醫(yī)療的AI應(yīng)用上處于領(lǐng)先地位，中國緊隨其后，而AI+文娛、AI+交通等方面，中國則大幅領(lǐng)先于美國。
第三，廣闊的國內(nèi)市場(chǎng)是中國競(jìng)爭(zhēng)最有力的底氣。
制造是競(jìng)爭(zhēng)力，但市場(chǎng)也是競(jìng)爭(zhēng)力，需求更是競(jìng)爭(zhēng)力。
中日基本同時(shí)啟動(dòng)大飛機(jī)項(xiàng)目，中國的C-919客機(jī)取得成功，日本卻無奈退出研發(fā)。不是日本科技實(shí)力不足，而是日本市場(chǎng)缺乏足夠的空間。新能源車上，鋰電池領(lǐng)先氫能源電池，還有LED戰(zhàn)勝DVD，都是市場(chǎng)起了決定性的作用。
中國的大模型市場(chǎng)規(guī)模足夠大。根據(jù)大模型之家、鈦媒體數(shù)據(jù)，2023年中國大模型市場(chǎng)規(guī)模達(dá)到147億人民幣，同比增長(zhǎng)110.0%。預(yù)計(jì)到2028年中國大模型市場(chǎng)規(guī)模將達(dá)到1179億人民幣，2022-2028年復(fù)合增長(zhǎng)率約為60.11%，市場(chǎng)規(guī)?？焖俪砷L(zhǎng)。
海外已有Synthesia、Runway等廠商在文生視頻領(lǐng)域形成成熟商業(yè)方案，應(yīng)用于企業(yè)產(chǎn)品介紹、操作指南、客戶服務(wù)等場(chǎng)景。隨著中國的百度、阿里、頭條的迎頭趕上，文生視頻的競(jìng)爭(zhēng)中，國內(nèi)選手不會(huì)輸于Sora。
結(jié) 語緊隨Sora之后，谷歌Deep Mind團(tuán)隊(duì)發(fā)布基礎(chǔ)世界模型Genie，通過給模型投喂視頻數(shù)據(jù)進(jìn)行訓(xùn)練，生成照片、草圖甚至可以操控的虛擬世界。虛擬世界正不斷向前，隨著中國玩家的不斷加入，這個(gè)世界會(huì)變得更加精彩。
看完覺得寫得好的，不防打賞一元，以支持藍(lán)海情報(bào)網(wǎng)揭秘更多好的項(xiàng)目。
感謝您的支持，我會(huì)繼續(xù)努力的!
打開支付寶掃一掃，即可進(jìn)行掃碼打賞哦
手機(jī)直接保存圖片,掃一掃識(shí)別二維碼,即可進(jìn)行掃碼打賞哦
