<h3><strong>內(nèi)容來源：</strong>張小珺（張小珺商業(yè)訪談錄）采訪人工智能研究員姚順宇的對話內(nèi)容整理。</h3></br><strong>責編</strong>?| 柒 ??<strong>排版</strong>?| 沐言<strong><strong>第 9632</strong></strong><strong><strong>篇深度好文：9475?</strong></strong><strong><strong>| 25分鐘</strong></strong><strong><strong>閱讀</strong></strong><h3><strong>商業(yè)思維</strong></h3></br><h3><strong>筆記君說：</strong></h3></br><strong>“別把時間浪費在伺候老登身上?！?lt;/strong>這句話出自姚順宇之口。他本科清華物理、斯坦福高能物理博士，師從領(lǐng)域內(nèi)頂尖學者，外界標準全部達標。但他自己卻覺得對這個世界的貢獻<strong>“</strong>幾乎為零<strong>”</strong>。他離開學術(shù)界的原因很簡單：<strong>高能理論物理已經(jīng)發(fā)展到實驗完全追不上的階段，沒有客觀評價標準，只有<strong>“</strong>領(lǐng)域內(nèi)一些老登的主觀判斷<strong>”</strong>。</strong>他說，人這一輩子沒多長，為什么要伺候老登？于是他去Anthropic待了一年，參與訓練了Claude 3.7，現(xiàn)在又加入Google Gemini。他說，AI這個行業(yè)<strong>“</strong>不太需要腦子<strong>”</strong>，最重要的是<strong>“</strong>靠譜<strong>”</strong>。個人英雄主義已死，AI是集體主義的事。Scaling Law（擴展定律）只是經(jīng)驗規(guī)律，智能涌現(xiàn)是<strong>“</strong>不科學的說法<strong>”</strong>。這是一位物理學家的AI觀察筆記。它刺破了很多泡沫，也給出了一個殘酷的真相：<strong>世界在推著我們前進，AI的進展已經(jīng)阻止不了了。</strong>甚至未來6到12個月，AI就會自己做實驗。以下為張小珺商業(yè)訪談對話姚順宇的精編內(nèi)容整理版，希望對你有所幫助。<h3><strong mpa-from-tpl="t">一、<strong>從物理到AI：</strong></strong></h3></br><h3><strong mpa-from-tpl="t"><strong>別把時間浪費在伺候老登身上</strong></strong></h3></br>我以前是做學物理的，本科在清華，那時做凝態(tài)理論，后來去斯坦福做理論高能物理。離開斯坦福之后去伯克利，短暫待了兩個星期的postdoc（博士后），就離職了，去了Anthropic。在Anthropic待了一年，去年9月底、10月初加入了Gemini。本科讀物理最大的幫助是：<strong>第一，想問題要想清楚。</strong>讀書不在于讀的多，而在于讀的深。讀的多，不代表你能發(fā)現(xiàn)新東西。但如果你對一件事有和別人不一樣的見解，那才是對社會來說更有價值的事。<h3> <strong>另一件事是，別太相信純理論</strong><strong>。</strong>因為當時能做數(shù)值，是因為數(shù)值和理論對不上，才仔細研究那個問題。博士去讀了高能物理，這就回到了說，總愛挑戰(zhàn)很難的事，有時候也會帶來一些不好的結(jié)果。我感覺，這個博士對自己學到很多東西、成長很大；但于這個世界，沒有產(chǎn)生什么貢獻。高能理論這個方向，足夠難，非常非常難。但它不好的在于，不是特別可以驗證，沒有什么客觀評價標準。因為高能理論已經(jīng)發(fā)展到了實驗完全追不上的階段。<strong>一個進步來源，來自于數(shù)學的自洽性。</strong>比如你提出一個框架，能和現(xiàn)有的已被驗證的更低能標下的理論相自洽。當然也有一些不科學的因素，當這個領(lǐng)域完全沒有實驗、沒有客觀標準，肯定不會只有一個自洽框架出現(xiàn)。這時候誰做的好、誰做的不好，就依賴于領(lǐng)域內(nèi)一些老登的主觀判斷。我也沒有被誰傷害，只是在那個領(lǐng)域待時間越長，就越覺得這件事蠢，人這一輩子也沒多長，為什么要把自己的時間浪費在伺候老登身上？<h3> 我想做有比較客觀評價標準的事，要做對這個世界能夠產(chǎn)生影響的事。從實際科研產(chǎn)出來說，沒有人會說我博士期間的文章不好，但摸著良心說，對這個世界有多大的影響？我覺得幾乎沒有，幾乎為零。我自己很不滿意的。但也沒有不滿意到，我會擔心有人說我在混日子。確實也沒在混日子，還是能達到所有外界標準。達到外界的標準，或者達到一個小的圈子的評價標準，像訓練模型一樣。一旦有了這么一個小的圈子，你知道他們的評價標準之后，做得好是很容易的。哪怕不認可這個標準，你是可以達到的。但我后來發(fā)現(xiàn)我蒙蔽不了自己，騙不了自己。博士最后兩年就會有這樣的感覺。但那時確實也沒想清楚，如果不做這個該去做什么？當時覺得，量子計算和AI是兩條給小登機會比較多的路。量子計算的主要瓶頸在實驗上。不是怎么設(shè)計算法或者算子，更多是怎么在實驗上實現(xiàn)它。那個事反而是我不擅長，跟我相關(guān)的反而是AI。更多是你有一個想法，可以用一些數(shù)值去驗證。這個數(shù)值在AI里面，可能就是訓練一個模型。這和做物理很像。感覺AI這個事，也不太需要腦子。我覺得這個行業(yè)最重要的特質(zhì)就是靠譜，就是做事細，對自己做的事負責任。<h3><strong mpa-from-tpl="t">二、<strong>黑盒、涌現(xiàn)與Scaling Law：</strong></strong></h3></br><h3><strong mpa-from-tpl="t"><strong>用科學視角看AI</strong></strong></h3></br><strong>1.這世界上所有東西都是黑盒</strong>這世界上所有東西都是黑盒。哪怕像物理這種。不管是量子力學，還是量子場論，都是描述那個能標下的行為。本質(zhì)上這個系統(tǒng)還是一個黑盒，你還是不知道它最微觀的地方是什么樣的動力學。 AI也是一樣，黑盒不黑盒，都是相對的。我們對語言模型的理解，確實沒到神經(jīng)科學手術(shù)刀那個級別，不是說能理解到，這個行為是由哪一個neuron（神經(jīng)元）、哪一個人工神經(jīng)元的哪一個激發(fā)產(chǎn)生的。但在實際能用的語言模型里，都沒達到這樣的理解。但也不代表完全沒理解。比如Scaling Law，它就描述了那個尺度下，模型隨著大小和數(shù)據(jù)量，是怎么在perplexity（困惑度）這個指標下變得越來越好的。如果Scaling Law不算是理解的一小部分，那是不是我們也說，對這個世界也完全不理解？它是一種經(jīng)驗規(guī)律。但經(jīng)驗規(guī)律和科學規(guī)律之間的界限很模糊。熱力學那些定律，當年被發(fā)現(xiàn)的時候也都是經(jīng)驗規(guī)律。后來隨著時間發(fā)展，慢慢知道了微觀機制，就變成了科學規(guī)律。Scaling Law目前肯定還是很經(jīng)驗，但未來當技術(shù)變得比較固定，大家越來越多理解它微觀過程的時候，會不會變成科學規(guī)律？如果這個定義存在的話，是有可能的。<strong>2.智能涌現(xiàn)這個話本身就不太科學</strong>“智能涌現(xiàn)”這個話本身就不太科學，自然也沒法用科學的話來表達一個不科學的事。智能涌現(xiàn)，對我來說更多是一種主觀的感覺，而不是客觀現(xiàn)象。很多人說智能涌現(xiàn)的時候，腦子里想的是，以前的語言模型只能做某一個方向的事。但現(xiàn)在模型好像可以做所有的事了。但這個事，對我來說更多是一個技術(shù)上的涌現(xiàn)，而不是行為上的涌現(xiàn)。<h3> 是我們通過研究，發(fā)現(xiàn)了該怎么去做這種大規(guī)模的訓練，能夠水平的提升所有能力。這才是更本質(zhì)的事。對我來說就是沒定義。唯一質(zhì)的區(qū)別就是，有沒有發(fā)生一個技術(shù)上的改變，使得我們可以做scale up（擴展），可以水平的提升所有的能力。這對我來說，是一個良好定義的事。<h3><strong mpa-from-tpl="t">三、<strong>Anthropic歲月：</strong></strong></h3></br><h3><strong mpa-from-tpl="t"><strong>小作坊的輝煌與混沌</strong></strong></h3></br><strong>1.加入一個十人小團隊</strong>Anthropic有很多做物理出身，尤其是做理論物理出身的人。就我個人視角來看，主要原因還是connection（人脈聯(lián)系）。創(chuàng)始團隊里當時有三四個比較技術(shù)的人，其中有兩個現(xiàn)在還在技術(shù)一線領(lǐng)導的，都是做物理出身。就這樣一直延續(xù)下來。但到現(xiàn)在這個階段，在我之后，幾乎沒怎么再招完全沒有AI背景的人了。所以是一個時代的產(chǎn)物。我還找了OpenAI和GDM（Google DeepMind）。但Google DeepMind那時候速度太慢了。Anthropic是因為當時聯(lián)系了，我的第一任經(jīng)理，他以前也是做理論物理的。他當時說：我們在嘗試做這種大規(guī)模強化學習，有很多科學問題要去理解。那時候（24年8-9月），強化學習還沒有像現(xiàn)在這么成熟。Anthropic當時大體上知道怎么做，但有很多細節(jié)需要仔細去研究。他說：有這么一個事，你要不要來面試一下？大概知道pre-train（預訓練）、post-train（后訓練）這個流程，但不太知道具體工業(yè)級別的語言模型是怎么訓練的。當時覺得這是一個不確定的事，是一個好的機會。自己手搓了一下Andrej Karpathy那個著名的nanoGPT項目，就去面試了,很快拿到了offer。<h3> 有兩個組的經(jīng)歷來跟我聊。一個是做模型評測，另外一個是做強化學習。我選擇了強化學習。那時候公司很小，我去的時候我們那個大的團隊才只有10-11個人。那個大團隊叫Horizon，后來幾乎是強化學習的方方面面都在這個團隊了。我去的那個組是比較偏研究和算法的組。<strong>2.Anthropic的獨特優(yōu)勢：技術(shù)一號位有公信力</strong>我對Anthropic的印象還是挺一致的。進去之后，這家公司的執(zhí)行力非常強。它是一個比較自上而下的公司。很多事情決定了之后，就會全力去做。員工之間的氛圍也很好，大家都不會藏著掖著。對于那個bet coding（對編程下重注），我不知道它完全的來源在哪。我自己能看到的一個顯然的來源是，前一代模型Claude 3放了之后，X上有很多人在討論說：<strong>Claude 3好像寫code比GPT-4強啊。</strong>那個年代，GPT-4是一個領(lǐng)先的模型。能有一件重要的事比GPT-4強，就很厲害了。這是這公司很強的一點，它執(zhí)行力非常非常強。一旦給它一個信號，讓它覺得是很合理的，那就會鋪上去。它沒有那些大組織那種冗余。為什么它的編程比GPT-4好？是有原因的，是一個純技術(shù)原因。但是，我不能確定一開始是隨機試著的，還是故意選擇的。你要讓我猜，我肯定會覺得是隨機試著的。最開始可能是自下而上的，但是后來就變成了一個自上而下的事。自上而下有一個很難的點，就是你做技術(shù)的決策人，必須也得是公司的決策人。你技術(shù)上得能服眾，另一方面你得能為這個公司負這個責任。Anthropic有這個條件就是，它的技術(shù)上的領(lǐng)導人，其實是公司的cofounder（聯(lián)合創(chuàng)始人）。像Jared Kaplan和Sam McCandlish，他們自己做這個決定，那是人家的公司，他有權(quán)利做這個自上而下的事。這很難。<br></br>比如說OpenAI就干不了。Ilya在的時候有可能可以，但后來他好像失去了這個做決策的能力，就走了。我覺得還是需要技術(shù)的，或者公司的leader（領(lǐng)導）有公信力。對我來說，技術(shù)1號位有公信力很重要。這個就得看你的團隊有沒有足夠的互相信任。<h3> Anthropic這點也是在初創(chuàng)公司里很強的，創(chuàng)始團隊沒有一個人離開公司。如果你看他們過去，那是一群真正一起打過仗的人。有很多公司干著干著，連小集體都團結(jié)不住了，那你怎么能指望大公司能團結(jié)住呢？大公司和初創(chuàng)公司的打法本來就不一樣。初創(chuàng)公司最重要的是找對賽道，能夠去很快做一些決策，然后很強力推進。大公司的想法可能是，我能在方方面面都有儲備，任何一個事成了我都能跟上。所以Gemini在Google是一個很傳統(tǒng)的、很自下而上的組織。公司層面可能有一些良好定義的框架來引導你，但很多時候，還是你自己來決定自己做什么。<strong>3.Claude 3.7：把簡單的事做的比誰都干凈</strong>當時就是為了做大尺度的強化學習，用它來提高編程的能力。我們那個組的研究重心就是這個。最終帶來的結(jié)果，就是大家一塊訓練了Claude 3.7這個模型。Claude 3.5有兩個版本，你也可以看出，Anthropic這個公司曾經(jīng)也是沒啥產(chǎn)品能力的，居然管兩個模型叫一個名字。實際的產(chǎn)品時間線是——<strong>3.5、3.5new、3.7</strong>。我?guī)缀鯖]參與3.5new，但3.5new就已經(jīng)看到了編程的跡象。我進去的時候，大家已經(jīng)看到了這個事兒能做成且重要，但不太清楚怎么去把它做成。我去的時候，是跟大家一起去研究怎么把它做成。從大的角度來說是靠大尺度強化學習，但有很多技術(shù)細節(jié)需要去研究。有好多保密協(xié)議的內(nèi)容。雖然我不能公開去談，但是，把簡單的事兒做的比誰都干凈，是最關(guān)鍵的。<h3> 有很多花里胡哨的技巧。比如說做強化學習，最簡單的算法就是策略梯度。<br></br>但不代表這是唯一的算法，還有別的算法。這些復雜性是必須的嗎？它們可能帶來一些效率上的提升，但也可能帶來一些基礎(chǔ)設(shè)施上的困難。你怎么去權(quán)衡這些事？很多的knowhow（技術(shù)訣竅），都在這些細節(jié)里，怎么處理這方方面面的細節(jié)。技術(shù)的竅門，是一個大家很愿意聽，公司又不讓你說，但實際又沒啥用的事兒。因為很多算法設(shè)計非常強的依賴于你的基礎(chǔ)設(shè)施。舉個例子，在強化學習時候，這個采樣，就是給你產(chǎn)生這些軌跡、token（詞元）的那個機器，和訓練器，這兩個機器可能不一樣。不同公司這個不一樣程度不一樣，算法設(shè)計也會不一樣。有些公司這兩個差異非常大，算法最大的部分可能就是怎么控制這個，怎么讓訓練穩(wěn)定。但有的公司基礎(chǔ)設(shè)施建設(shè)特別好，就可以花更多精力在訓練效果上。所以很多這種小的竅門，其實沒什么用?，F(xiàn)代的AI訓練是一個大的系統(tǒng)，要了解這個系統(tǒng)的方方面面，才能有一個全局的認識。什么事是因為什么而變得有用了，而不是說這個事本身有用。<strong>4.Coding為什么重要</strong>對我來說，它重要的原因有二。<strong>一個原因是，coding本身也是做語言模型研究的一部分。</strong>如果你能夠把coding做得很好，可能會讓你的研究效率翻倍提升，形成一個研究上的飛輪。<h3> <strong>另一方面原因，是因為coding是模型使用工具和環(huán)境交互的一個很好的抽象</strong>。這個抽象的好處在哪？回歸信號清晰，數(shù)據(jù)充分。很難在別的場景下，找到能同時有這兩個特質(zhì)的使用工具場景。對Anthropic的后訓練來說，Claude 3.7是一個分水嶺。在3.7之前，后訓練都是處于一個比較小規(guī)模，可能就是修修補補模型的狀態(tài)。也不是不重視，是一開始大家很長時間都沒有搞明白后訓練該怎么擴大規(guī)模。但在那個階段，不管是OpenAI還是Anthropic，還是中國的DeepSeek，都意識到了這個事該怎么去擴大規(guī)模。就是得找到合適的環(huán)境，這個環(huán)境回饋信號足夠清晰，本身也是一個很強的數(shù)據(jù)源。在這個上面能讓訓練非常穩(wěn)定，這事就能做成。那個時刻，OpenAI做的方式和Anthropic差別挺大的。但大的方向上都是找一些回歸信號非常清楚、非?？陀^，數(shù)據(jù)本身又比較干凈，對模型來說是可學習的，在上面做穩(wěn)定的強化學習訓練。<strong>5.預訓練和后訓練都沒到平臺期</strong>很長時間OpenAI都是這個想法（預訓練快結(jié)束了）。在3.7那個時代，我也曾經(jīng)抱過這個想法。但是后來隨著了解越來越深入，我就覺得，還有做的空間的。預訓練是一個很系統(tǒng)的框架，告訴你做什么樣的事是更有效的。我覺得都沒有到平臺期。到達平臺期有兩種可能性。一種可能性是技術(shù)本身到達了，你明明還有想讓模型要干的事，但這倆技術(shù)就死活教不會了。另一種可能性是，你想干的事到平臺期了。<h3> 我覺得現(xiàn)在就是后者。就是說，模型是一個非常聰明的小孩，你可以教它很多東西。但我們?nèi)祟愖鳛槔蠋?，現(xiàn)在還不知道下一個東西該教什么?；蛘哒f該怎么去合理地教它，用現(xiàn)在的這些范式。<h3><strong><strong>四、個人英雄主義已死：</strong></strong></h3></br><h3><strong><strong>集體主義才是AI的真相</strong></strong></h3></br><strong>1.世界在推著我們前進</strong>在可用的語言模型、大尺度的語言模型出現(xiàn)之前，很多事是一個非必然。比如，如果沒有Google Brain（谷歌大腦），那可能Transformer（筆記俠注：基于自注意力機制的深度學習模型）就不會被發(fā)現(xiàn)，可能要過很多很多年。但進入那個階段后，尤其到現(xiàn)在已經(jīng)反過來，任何一個組織想要停止AI進展，是做不到的。Anthropic很擔心AI安全，那Anthropic有沒有這個能力阻止AI發(fā)展？你停止發(fā)展，別人會發(fā)展，你的話語權(quán)還會變小?，F(xiàn)在更多是這種狀態(tài)：世界在推著我們前進，而不是我們在推著這個世界前進。<h3> Anthropic一直以來的想法是，我要做這個世界上最好的模型，大家不得不聽我的，來推進我的安全政策。但從我個人角度，這個想法非常幼稚。更有可能發(fā)生的是，大家都有很好的前沿模型，而你沒有辦法阻止任何事發(fā)生。如果真的想要避免AI帶來一些危機，核武器最終受到控制的方法就是多方控制。大家有很多個有核武器的國家，互相都有毀滅對方的能力。通過這樣一種制衡才穩(wěn)定住。我覺得要阻止AI干一些不好的事，最終可能需要一種類似的機制來實現(xiàn)。<strong>2.舊時代英雄有點蠢</strong>我感覺來這行業(yè)的時候，個人英雄主義時代已經(jīng)過去了，所以也沒有什么英雄。有時候甚至覺得舊時代英雄有點蠢。，我覺得和做物理時候還是不一樣。<h3> 做物理時候，還是存在著一些真的比我聰明太多的人。比如我讀博的時候那個年輕老板，Douglas Stanford，他就比我聰明太多了?？吹剿?，才覺得自己在那個領(lǐng)域也沒什么用。有他了還要我干嘛呢？當然你要非要在人工智能找一個英雄，可能Geoffrey Hinton（杰佛里·辛頓）是吧。就是在大家都覺得這事可有可無或者不那么確定的時候，他一直在這個方向做。那我覺得，這可能是一個英雄級別的人物?？赡芤灿幸恍┯⑿鄣募w。比如像Transformer，就Noam（Noam Shazeer）和那些，Ashish（Ashish Vaswani）、Niki（Niki Parmar）他們，那可能是一個英雄集體。<strong>3.AI研究員像球星轉(zhuǎn)會？這是對人的炒作</strong>我不知道AI研究員價格高是好事還是壞事。對我個人來說，當然很高興，我受益于這個。但實際上來說，我并不知道這是不是一件好事?？赡芤环矫媸谴蠹矣X得很稀缺吧。但實際上可能確實也沒那么充足。因為訓練一個人，雖然這事沒那么難，但你訓練一個人是需要一個環(huán)境的。你得有那個機會去接觸這件事，你才能學會這件事。你沒有那個機會，再聰明也沒用。過去能撞到這個機會的人，沒有那么多。所以市場上比較稀缺。但我覺得另一方面也是，對人的炒作有點過分了。再說一次，這是個集體主義的事。我覺得純做語言模型，已經(jīng)不是一個藍海了。晚了，末班車已經(jīng)發(fā)車了。我感覺我入行就是那個末班車啊。該怎么去合理地教它，用現(xiàn)在的這些范式。<h3><strong><strong>五、<strong>為什么離開Anthropic，</strong></strong></strong></h3></br><h3><strong><strong><strong>又為什么選擇Gemini</strong></strong></strong></h3></br><strong>1.離開：不想在一個地方待著</strong>在我快離開那段時間，Anthropic文化上經(jīng)歷了一些混沌。從外面來了一些人，跟本來的文化有些沖突。之前更像一個小作坊，大家都是朋友，大家都知道對方在干嘛，公司那時候緊迫感也更強一些。后來人多了，文化肯定會受到一些沖擊。我不太喜歡在這個領(lǐng)域里面說很多話的人。很多想法，顯然所有人都知道。難的是怎么把它變成一個一個小的、可實現(xiàn)的步驟，做出來。我不太喜歡那些一天中很多時間花在辦公軟件上，在那講一些大道理，沒啥用。<h3> 一個方面是，我不認同Dario的一些觀點。作為一個公司CEO，把這個觀點推到這么極端的地步，是一個非常情緒化的體現(xiàn)。大的方面，公司文化上有些沖擊。我自己也想去學些不一樣的事情。Anthropic有很多不做的事，比如完全沒有人做多模態(tài)生成，你想學沒地兒學。想要學習更多的東西，也是當時離開的一個動力。<strong>2.選擇Gemini：取決于你想要什么</strong>OpenAI也是我當時的一個選項。沒有去的一個主要原因，是對它的文化有比較大擔心的，感覺踏實做事的人沒有Gemini多，更沒有Anthropic的人多。我有一個很明確的scope范圍，我一定要把我的一個想法送到這個模型里去，那Google是一個很差的地方，因為做這件事情有很復雜的過程。但如果你想要的是有研究的自由、探索的自由，想從更廣泛的人類學習，這個世界上可能找不到第二個比Gemini更強的地方。還是取決于你自己想要什么。很多人不管從哪離職，換到另外一家之后，會覺得不開心的主要原因，是因為沒想明白自己想要什么。<h3> 我是去年9月底去的，在Gemini 3發(fā)布之前。業(yè)內(nèi)的人當時對Gemini都還是印象不錯的。大家的感知，可能在Gemini 2.5這一代產(chǎn)生了變化。2.5是一個明顯你能看出來Google開始上道了。我去Gemini跟這沒關(guān)系。主要還是我知道，Gemini大概是一個什么樣的氛圍。很多Gemini工程師，技術(shù)是非常非常非常強的。我是從他們身上學到了非常非常多。<strong>3.OpenAI救了Google一命</strong>從實際的效果來說，是兩件事讓Gemini產(chǎn)生了一個大的轉(zhuǎn)折。Nano Banana和Gemini 3——兩件事連著。Nano Banana做到的一件事是，首先市場上很爆款，大量的人去下載了Gemini的APP，然后Gemini 3又緊接著放，把這個部分留下來了。沒有Gemini打這么一拳，OpenAI的位置很爽。它市占率已經(jīng)高到，其實模型上干點啥，對它來說可能影響都沒那么大啊。從某種意義上來說，OpenAI是救了Google一命。大家以前一直擔心聊天機器人會不會完全把搜索取代掉。如果這個事真的發(fā)生，Google其實很難受。但好在，OpenAI先把這個事做了，讓Google意識到了這個事很重要。但OpenAI又沒有把這個事做到極致，沒有把搜索干掉。結(jié)果，讓Google自己把聊天機器人也追上來了。那現(xiàn)在難受的就是OpenAI了。首先，目前的chatbot（聊天機器人）這種交互方式，不會完全吃掉搜索。它比搜索強的是有很強交互性，可以幫你把復雜信息濃縮。但搜索里還有一些非常愚蠢的場景，比如我就搜買大米，一搜買就完了。我還非得去問ChatGPT，問哪個好，它還在那轉(zhuǎn)圈圈。沒有那個必要。所以從事實的使用上來說，它目前的形態(tài)并不足以把搜索完全吃掉。我覺得Google傳統(tǒng)上在產(chǎn)品就是有點慢。Google特別擅長的一件事是什么？是找到一個極為簡單的產(chǎn)品形態(tài)，大家都長一個樣，它就瘋狂給你卷技術(shù)，你就卷不過它。<h3> 搜索引擎就是這樣的一個事兒。大家都是一個框、一個鍵，但它就是比你搜得快、搜得比你準，你拿它一點辦法也沒有。我覺得現(xiàn)在誰的位置都不穩(wěn)固。AI的形態(tài)還有很長的路要走，沒有到什么終局之戰(zhàn)這個地方的感覺呢。我覺得聊天機器人和超級應用可能會爭奪一下。但問題是，你這個形態(tài)是不是超級應用？會不會別人哪天出了一個完全不一樣的形態(tài)，你的功能變成了那個東西一個子集？人類到現(xiàn)在只通過聊天機器人去跟AI溝通，很蠢。那應該用什么？沒想明白。要想明白我就干了。<strong>4.Google的組織變化</strong>以前組織還是更混亂一些，現(xiàn)在至少預訓練變得非常清楚，誰負責什么事情，每一個節(jié)點上誰是負責人。加上Google一直有的比較強的技術(shù)背景，做事也比較系統(tǒng)。所以預訓練在Google，是一個非常非?？煽氐氖?。它比以前肯定要更自上而下了，但它比Anthropic來說，還是更自下而上了一些。<h3> 大公司有大公司的打法，初創(chuàng)公司有初創(chuàng)公司的打法?，F(xiàn)在Google更多的是，像這種比較確定性的事，比如預訓練，已經(jīng)是一個比較確定性的范式了。Google就會更像把它做成一個工程項目。Google的工程管理能力又很強，它就能慢慢把它做好。所以預訓練，就是現(xiàn)在進入到Google的舒適區(qū)里了。后訓練當然有更多不確定性?？赡芎笥柧毈F(xiàn)在來說，還是更自下而上一點。大家可以更廣泛的試。<h3><strong><strong>六、<strong>我的研究：</strong></strong></strong></h3></br><h3><strong><strong><strong>ML Coding與Long Horizon</strong></strong></strong></h3></br><strong>1.AI研究的下一個場景</strong>我自己主要在做ML coding（機器學習編程），和一些比較long horizon（長時序）的事。ML coding，主要就是想要實現(xiàn)這個完整的AI自己訓練自己的歷程。大的方向上來說，大家比較有共識該怎么去做。但還是回到細節(jié)，細節(jié)上有很多要處理。比如怎么樣去選取合適的數(shù)據(jù)，怎么樣去選取合適的回饋信號，以及它又帶來新的基礎(chǔ)設(shè)施的挑戰(zhàn)。long horizon，想要能夠?qū)崿F(xiàn)模型能夠——還是那句口號：<strong>train with finite, but use as infinite</strong>（用有限的上下文訓練，但用起來像無限的上下文）。?我覺得想要把這個訓練的長度一直變長，可能并不是單個訓練語段的長度一直變長，那不是很現(xiàn)實的方案。但現(xiàn)實的事是，你怎么用有限的context（上下文），去做更長的工作？人就是這個樣子，人的context很短很短。你現(xiàn)在問我昨天晚上吃什么，我是一點也想不起來了。因為它對我現(xiàn)在這個場景來說不關(guān)鍵。我選擇把它忘掉。人的context很短，但他能夠選擇性的遺忘，選擇性的去retrieve檢索，把重要的信息再抓回來。<h3> 其實這兩件事有點相關(guān)、有點互補。都在模型使用工具和環(huán)境，以及不同模型、不同人交互的這個大的范疇內(nèi)。在這個范疇內(nèi)，大家過去完成的那個節(jié)點，就是智能體編程。這個事橫向就會長出不同的使用場景。做AI研究，就是橫向場景里的另外一個場景。這個場景，不僅橫向上是一個新場景，在縱向上也讓事情的尺度變得更長。完成一個代碼的補全，是一個很快的事。但做一個完整的AI研究，那是一個很長的過程。所以說，它像一個T字形，橫向有延展，縱向也有延展。我個人花更多時間在后訓練的方案上。我覺得后訓練的方案，更符合我自己對這個事的理解。<strong>2.AI本質(zhì)是簡單的</strong>AI本質(zhì)是簡單的，它可對可錯。我對這個陳述的解釋是，它本質(zhì)上簡單的點在于，它能做實驗。它和本質(zhì)上難的東西，比如物理，區(qū)別在于，那個東西你沒有能標下的實驗數(shù)據(jù)，就是理解不了那個能標下的理論。<h3> 但AI不被這個所約束，你理解不了沒關(guān)系，也可以往前發(fā)展。能夠做任何我能想到的實驗，只是可能需要一些時間。沒有什么本質(zhì)上的困難。所以AI沒有給人感覺碰壁的原因是，首先很多東西你都能試，其次不是大家已經(jīng)想空了腦袋、沒有什么想法可以試。更多的是有太多想法，得一個個試，花時間。未來的6-12個月，AI就會自己做實驗。AI自己提高自己，或者自己來加快自己的發(fā)展過程，這件事其實已經(jīng)在發(fā)生。它目前還做不到的是，它能不能從頭到尾把一件AI研究的事做完。比如它不僅能編程，還能跑實驗，還能看到這個結(jié)果。看到這個結(jié)果，還能分析這個結(jié)果，知道哪兒做的不對，提出新的假設(shè)，設(shè)計新的代碼，跑新的實驗。這條鏈條目前還沒有完整。但這條鏈條下一步會慢慢變得完整的。<h3><strong><strong>七、<strong>沒有老登的束縛：</strong></strong></strong></h3></br><h3><strong><strong><strong>直接表達是最好的方式</strong></strong></strong></h3></br>這可能就是，不是AI出身的好處，沒有什么負擔。沒有哪個老登是你的親屬，所以你覺得他傻，他就是傻，就可以直接說他傻。我覺得我做學生的時候還挺收斂的。但我后來發(fā)現(xiàn)收斂沒用，對自己也沒好處，對別人也沒好處。還是更直接，表達自己的想法是最關(guān)鍵的。直接表達自己的想法，是一個短期一定會有人恨你，但長期大家會欣賞的事情。我覺得人年紀大了，不一定會變成老登。<h3> 人年紀大了會變成兩種狀態(tài)：一種狀態(tài)叫做德高望重，就是他少指手畫腳，還會花自己的力氣去培養(yǎng)年輕人。另一種人就是老登，就自己也不懂，還愛指手畫腳。做了AI之后就更直接。<strong>一是沒有束縛，二是這個領(lǐng)域足夠客觀。</strong>你其實不用太擔心，因為自己的觀點而惹到什么人。只要你的觀點是自洽的，你有一套自己觀點的理論，你不是說隨便噴人。最終你在這個領(lǐng)域做的怎么樣，是有客觀的評價標準的。我覺得其實大家是會尊重你的。參考資料：《獨家對話姚順宇：請允許我小瘋一下》，語言即世界language is world。*文章為作者獨立觀點，不代表筆記俠立場。 <strong>好文閱讀推薦：</strong><h3><a data-itemshowtype="0" data-linktype="2" href="https://mp.weixin.qq.com/s?__biz=MzIxNTAzNzU0Ng==&mid=2654905365&idx=1&sn=1d6d08625b2d2ccba53ed586c3808b1a&scene=21#wechat_redirect" linktype="text" target="_blank" textvalue="教員讀了17遍的《資治通鑒》，應該怎么讀？">教員讀了17遍的《資治通鑒》，應該怎么讀？</a></h3></br><h3><a data-itemshowtype="0" data-linktype="2" href="https://mp.weixin.qq.com/s?__biz=MzIxNTAzNzU0Ng==&mid=2654905374&idx=1&sn=97ae3e0244c43c4ef679f30a5541b7b6&scene=21#wechat_redirect" linktype="text" target="_blank" textvalue="黃奇帆最新演講：出口賺了1.2萬億，為什么反而讓人睡不著覺？">黃奇帆最新演講：出口賺了1.2萬億，為什么反而讓人睡不著覺？</a></h3></br><h3><strong>分享、點贊、在看，3連3連！ <a href="https://mp.weixin.qq.com/s/IqLCaAtxIkMduXvgkasKvg" >查看原文</a> 原文轉(zhuǎn)載自微信公眾號,著作權(quán)歸作者所有