界面新聞?dòng)浾?| 伍洋宇
界面新聞編輯 | 文姝琪
不同于兩年前的百模大戰(zhàn)時(shí)期誰(shuí)都可以喊一句“沖擊AGI”，如今創(chuàng)業(yè)公司再堅(jiān)稱(chēng)自己以此為目標(biāo)已經(jīng)不是一種主流行為——但這仍是階躍星辰要在2025年延續(xù)的敘事。
5月8日，階躍星辰創(chuàng)始人兼CEO姜大昕進(jìn)行了一場(chǎng)技術(shù)溝通會(huì)，強(qiáng)調(diào)公司的技術(shù)追求并對(duì)未來(lái)技術(shù)趨勢(shì)作出判斷。對(duì)于公司從Day 1起便明確的“單模態(tài)—多模態(tài)—多模理解和生成的統(tǒng)一—世界模型—AGI（通用人工智能）”路線(xiàn)圖，他也予以明確了當(dāng)下時(shí)刻的定位。
幾乎以低調(diào)貫穿整個(gè)成立初期的階躍星辰，從去年下半年起主動(dòng)對(duì)外釋放更多聲量，開(kāi)始打一場(chǎng)水面之上的仗。
這些聲量大都圍繞模型進(jìn)展。成立兩年，公司累計(jì)發(fā)布22款基座模型，覆蓋文字、語(yǔ)音、圖像、視頻、音樂(lè)、推理等系列。其中有16款是多模態(tài)模型，又分屬圖像理解、視頻理解、圖像生成、視頻生成、圖像編輯、音樂(lè)生成、多模態(tài)推理等方向。
區(qū)別于行業(yè)更常見(jiàn)的圖像模型、音頻模型、視頻模型等不加區(qū)分的定義和命名方式，階躍星辰格外強(qiáng)調(diào)多模態(tài)模型“理解”與“生成”的單一屬性。這與這家公司選擇的AGI路線(xiàn)以及即將要突破的關(guān)鍵節(jié)點(diǎn)息息相關(guān)。
“從模仿學(xué)習(xí)走向強(qiáng)化學(xué)習(xí)，以及從多模態(tài)融合走向多模態(tài)理解與生成一體化，是當(dāng)下大模型發(fā)展主要呈現(xiàn)的兩個(gè)趨勢(shì)。”姜大昕開(kāi)場(chǎng)點(diǎn)明了這一主題。
第一條趨勢(shì)行業(yè)并不陌生，這是OpenAI去年9月通過(guò)o1-preview掀起的模型訓(xùn)練范式革命，并且主導(dǎo)了接下來(lái)數(shù)月幾乎所有大模型公司的迭代方向。隨著推理模型與后訓(xùn)練成為業(yè)界共識(shí)，文本模型的技術(shù)路線(xiàn)相對(duì)收斂，這里的格局變換已不如從前那樣日新月異。
另一條趨勢(shì)屬于多模態(tài)模型，這是一個(gè)最優(yōu)技術(shù)路徑尚不明朗的領(lǐng)域，階躍星辰在此押下重注。
“有一句話(huà)我在很多場(chǎng)合不停重復(fù)——我們認(rèn)為多模態(tài)是實(shí)現(xiàn)AGI的必經(jīng)之路?！苯箨恐赋觯瑹o(wú)論是從人類(lèi)智能的多元化角度（符號(hào)智能、視覺(jué)智能、空間智能等），還是從垂直領(lǐng)域AI應(yīng)用需求來(lái)說(shuō)，大模型的多模態(tài)能力都必不可少。
這家公司進(jìn)一步判斷，在多模態(tài)模型領(lǐng)域，理解與生成統(tǒng)一是其核心問(wèn)題。
文本大模型的理解與生成已經(jīng)由GPT類(lèi)模型實(shí)現(xiàn)統(tǒng)一，但在視覺(jué)領(lǐng)域，內(nèi)容的理解與生成仍普遍采用不同模型，例如用GPT-4o來(lái)理解圖片，但用Flux、Stable Diffusion等來(lái)生成圖片。
為什么一定要做多模理解與生成的統(tǒng)一？姜大昕解釋稱(chēng)，一方面生成的內(nèi)容需要理解來(lái)控制，確保內(nèi)容具備意義和價(jià)值；另一方面，內(nèi)容的理解需要生成來(lái)監(jiān)督，也即“只有能夠生成的時(shí)候才意味著真正的理解了”。
從統(tǒng)計(jì)學(xué)角度看來(lái)，相比文本模態(tài)的低維度離散分布，視覺(jué)模態(tài)的高維度連續(xù)分布造就了模型學(xué)習(xí)更高的復(fù)雜性。
這使得文本模型的NTP（Next-Token-Prediction）還無(wú)法順暢平移為視覺(jué)模型的NFP（Next-Frame-Prediction），也意味著屬于視覺(jué)模型的可規(guī)?；斫馍梢惑w化架構(gòu)尚未出現(xiàn)——這正是Transfomer架構(gòu)之于GPT等文本模型的重大意義。
姜大昕坦言，視覺(jué)領(lǐng)域的確處在一個(gè)等待“Transformer架構(gòu)”出現(xiàn)的階段，而行業(yè)也在探索多個(gè)不同方向，公司當(dāng)前的目標(biāo)是要自己把“Transformer”做出來(lái)。
在他看來(lái)，擁有了這一架構(gòu)的視覺(jué)模型，可以效仿文本模型的路徑，順利邁入海量圖片和視頻預(yù)訓(xùn)練及指令跟隨的GPT-3階段，并可能加速進(jìn)入融合了強(qiáng)化學(xué)習(xí)的視覺(jué)時(shí)空推理階段，直至誕生世界模型。
這也是為什么他會(huì)說(shuō)，“一旦視覺(jué)模型理解與生成一體化的問(wèn)題被解決，之后的路線(xiàn)會(huì)非常順暢”。
.png "對(duì)話(huà)階躍星辰姜大昕：Sora技術(shù)有局限，多模態(tài)理解生成一體化才是未來(lái)|界面新聞 · 科技")
作為該技術(shù)目標(biāo)的最新進(jìn)展，階躍星辰近期發(fā)布了圖像編輯模型Step1X-Edit，多模態(tài)推理模型Step-R1-V-Mini，以及圖生視頻模型Step-Video-TI2V。姜大昕指出，Step1X-Edit實(shí)現(xiàn)了初步的理解與生成統(tǒng)一，但還可以在架構(gòu)和數(shù)據(jù)上做進(jìn)一步優(yōu)化和打磨。
技術(shù)路線(xiàn)之外，階躍星辰梳理出了一條更明確的商業(yè)化路徑。
除了此前已有的ToC（用戶(hù)）產(chǎn)品嘗試和ToB（企業(yè)）合作模式，階躍星辰將在應(yīng)用層重點(diǎn)發(fā)力的方向是AI Agent。不過(guò)相較于自己做一款Manus類(lèi)的產(chǎn)品，公司選擇聚焦智能終端Agent領(lǐng)域，也就是與手機(jī)、汽車(chē)、機(jī)器人等終端廠商合作，以端云結(jié)合平臺(tái)的角色構(gòu)建智能終端的Agent生態(tài)。
作為一家已融資數(shù)億美元的B輪創(chuàng)業(yè)公司，這場(chǎng)溝通會(huì)沒(méi)有大談?dòng)脩?hù)規(guī)模、商業(yè)模式、盈利能力，更多話(huà)題還是圍繞如果要實(shí)現(xiàn)AGI，公司要如何翻越既定路線(xiàn)上的某一座山頭。這種氛圍在當(dāng)前行業(yè)熱議AI應(yīng)用公司如何火熱、掙錢(qián)的喧囂襯托下，頗有一種反差。
此外，姜大昕還接受了界面新聞等媒體采訪，更細(xì)致回答了有關(guān)多模理解與生成統(tǒng)一技術(shù)路徑的相關(guān)問(wèn)題，以及對(duì)模型訓(xùn)練與商業(yè)化的基本判斷。
以下為姜大昕采訪實(shí)錄，略作編輯：
媒體：躍問(wèn)最近改名階躍AI了，原因是什么？公司過(guò)去一年發(fā)布過(guò)一些C端產(chǎn)品，目前對(duì)這個(gè)方向有什么經(jīng)驗(yàn)總結(jié)？
姜大昕：去年大模型還沒(méi)有出現(xiàn)這么強(qiáng)大的多模態(tài)和推理模型，我們看到的產(chǎn)品就幾類(lèi)，Chatbot，AI陪伴，還有Runway、Pika這樣一些AIGC應(yīng)用。那時(shí)候大家其實(shí)沒(méi)有特別明確的方向，只是因?yàn)橛羞@樣的模型能力，所以產(chǎn)生了這樣的應(yīng)用。這是產(chǎn)品探索的早期階段。
今年因?yàn)槎嗄B(tài)能力和推理能力的進(jìn)一步成熟產(chǎn)生了Agent，我們看到非常多像Deep Research或者M(jìn)anus這樣的新應(yīng)用。
我們的變化是想聚焦到Agent領(lǐng)域。而之所以改名階躍AI，是因?yàn)樗獜腃hatbot類(lèi)產(chǎn)品向加入更多Agent能力的產(chǎn)品做轉(zhuǎn)變。
媒體：階躍的策略是超級(jí)模型+超級(jí)應(yīng)用，這也是包括字節(jié)在內(nèi)很多大廠在做的事情，這種情況下，很多初創(chuàng)公司已經(jīng)放棄通用大模型了，階躍為什么還會(huì)堅(jiān)持？
姜大昕：這里面分幾個(gè)層次去講，第一，現(xiàn)在這個(gè)行業(yè)趨勢(shì)還處于一個(gè)技術(shù)非常陡峭的區(qū)間。
我會(huì)很感慨，AI行業(yè)里面的發(fā)展變化確實(shí)是太快了。如果大家回到去年想一想，就覺(jué)得GPT-4是多么牛的東西，今天它都要快下架了；去年Sora剛出來(lái)的時(shí)候給大家多大的震撼，今天回過(guò)頭看，都覺(jué)得Sora有什么神奇的。而今年無(wú)論做出什么很牛的技術(shù)，可能明年回頭看會(huì)覺(jué)得微不足道。
在技術(shù)發(fā)展如此快的行業(yè)背景下，階躍肯定不愿意在這個(gè)過(guò)程中脫離主流，或者說(shuō)放棄這樣的前進(jìn)趨勢(shì)，還是會(huì)堅(jiān)持做基礎(chǔ)模型的研發(fā)。
第二，從應(yīng)用的角度來(lái)看，我們一直覺(jué)得應(yīng)用和模型是相輔相成，模型可以決定應(yīng)用的上限，應(yīng)用給模型提供具體的場(chǎng)景和數(shù)據(jù)也非常重要。所以我們的產(chǎn)品形態(tài)隨著模型的演變動(dòng)態(tài)發(fā)展，這樣的邏輯關(guān)系會(huì)一直保持下去。
媒體：在Agent這件事情上，為什么會(huì)選擇一個(gè)類(lèi)似供應(yīng)商的身份，而不是自己下場(chǎng)做一款直接ToC或者ToB的Agent產(chǎn)品？
姜大昕：這個(gè)東西很新，我們更好的選擇就是找到頭部企業(yè)合作。它們已經(jīng)有了大量的用戶(hù)和場(chǎng)景，我們才能?chē)L試這個(gè)模型究竟怎么做。
如果我們上就來(lái)做ToC，第一件事情就得是user grow（用戶(hù)增長(zhǎng)）。所以我們先和這些企業(yè)一起合作，如果這件事情探索清楚了，至于說(shuō)將來(lái)我們是不是自己做，我覺(jué)得都是有可能的。
這里還有一個(gè)很誘人的場(chǎng)景，就是現(xiàn)在所有的設(shè)備都是孤立的，對(duì)于一個(gè)用戶(hù)來(lái)說(shuō)，他當(dāng)然希望AI Agent能夠跨設(shè)備。那么這件事情應(yīng)該誰(shuí)來(lái)做，肯定有很多人在思考。
媒體：公司最近在算法層面更加重視理解生成一體化整合，這個(gè)想法是基于什么樣的邏輯判斷？
姜大昕：我們覺(jué)得以Sora為代表的這一代視頻生成技術(shù)，它的上限就在那里了，很難去突破。下一代突破我們認(rèn)為應(yīng)該是基于理解生成一體化的。
媒體：多模態(tài)理解與生成一體化架構(gòu)很重要，那影響它出現(xiàn)最關(guān)鍵的因素是算法，更高質(zhì)量的數(shù)據(jù)，還是什么？
姜大昕：兩個(gè)都很重要，首先就是架構(gòu)的突破，因?yàn)榇_實(shí)不容易。
多模態(tài)的高維連續(xù)空間，我們很難用一個(gè)自回歸架構(gòu)去模擬，所以大家不得不采用Diffusion。直白的說(shuō)，Diffusion就是一步弄不成，就多走幾步，因?yàn)樗珡?fù)雜了。
但自回歸架構(gòu)不讓你走多步，那么這兩個(gè)東西怎么能連在一起，需要一個(gè)架構(gòu)性的東西，這是算法層面需要解決的問(wèn)題。甚至有可能把自回歸和Diffusion結(jié)合在一起這個(gè)方向也是錯(cuò)的，這里面有非常多的不確定性。
有了技術(shù)以后，第二步就是數(shù)據(jù)。所有的人工智能里面數(shù)據(jù)都非常重要，有了架構(gòu)但沒(méi)有合適的數(shù)據(jù)訓(xùn)練它，就如同一輛車(chē)沒(méi)有石油，你還是不能跑。
媒體：你剛剛好像有提到，OpenAI最新的GPT-4o已經(jīng)實(shí)現(xiàn)了理解與生成一體化？
姜大昕：我們只是猜測(cè)，因?yàn)樗鼜牟还技夹g(shù)細(xì)節(jié)。它的做法應(yīng)該是把理解和生成放在了一個(gè)模型里面，但這個(gè)東西是不是scalable（可規(guī)?；?，我們不知道。
媒體：怎么判斷它是不是scalable？
姜大昕：它肯定要做到predict next frame，或者說(shuō)如果OpenAI有一天推出了一個(gè)不叫Sora的視頻模型，很可能就是做通了。
事實(shí)上去年Sora出來(lái)的時(shí)候大家都很興奮，但我們是非常失望的，因?yàn)槲覀冇X(jué)得它的主線(xiàn)應(yīng)該是做理解生成一體化。
回過(guò)去想也是有道理的。從多模融合一步走到理解生成一體化太難了，所以干脆兩個(gè)獨(dú)立往前走，互相促進(jìn)，有點(diǎn)像左腳踩右腳。因?yàn)樗赟ora里面也說(shuō)了，它拿著GPT-4o給數(shù)據(jù)打標(biāo)注。
有了生成以后是不是能夠幫助理解，可能就是需要迭代幾輪以后再到理解生成一體化，但總的方向肯定是能夠predict next frame。這個(gè)問(wèn)題不解決，后面有很多問(wèn)題都到不了那個(gè)程度。
媒體：多模態(tài)理解與生成一體化這個(gè)技術(shù)方向目前還沒(méi)有收斂，對(duì)標(biāo)語(yǔ)言模型的話(huà)，它大概處在哪個(gè)發(fā)展階段？
姜大昕：應(yīng)該是在Transformer的階段，Transformer是2017年出來(lái)的，GPT-1是2018年，這個(gè)架構(gòu)應(yīng)該早于“GPT”。
媒體：階躍目前研發(fā)的模型很多，如果下一步理解生成一體化尤為重要的話(huà)，為什么我們不把所有的力量都集中去做它？
姜大昕：我們也想這樣做，但不行，因?yàn)槔斫馀c生成一體化是非常要求綜合素質(zhì)的一個(gè)考驗(yàn)。首先你要理解，如果語(yǔ)言模型不強(qiáng)就談不上理解。其次你要做推理，視覺(jué)推理是視覺(jué)理解的升級(jí)。再者還有生成端，這也必須得做。
所以不是我們不夠focus（專(zhuān)注），要做這件事，就必須要做到所有條線(xiàn)能力都非常強(qiáng)，組合起來(lái)去探索它的路徑。
媒體：解決理解與生成一體化這個(gè)問(wèn)題之后，你認(rèn)為視覺(jué)模型應(yīng)該達(dá)到一個(gè)什么樣的狀態(tài)？
姜大昕：你給它一個(gè)電影的開(kāi)頭，它能夠一直往下編，并且大家認(rèn)為還挺有道理的，連續(xù)、符合邏輯、符合物理規(guī)律。如果它能持續(xù)這樣做下去，這至少可以說(shuō)明它的預(yù)訓(xùn)練做成了。