The Scaling Curve: Dario Amodei, Anthropic, and the Race to Build and Survive Superintelligence

 

The Scaling Curve: Dario Amodei, Anthropic, and the Race to Build and Survive Superintelligence(Claude St. John)

                      "The Scaling Curve"是年初的新書,個人是基於集郵心態讀的.已經讀過ChatGPT的Sam Altman,Gemini的Demis Hassabis,當然就要順便把Anthropic的執行長,與Claude所屬企業狀態了解一下.作為一家2020才初創的AI公司,以時間看,創造如今的營收與獲利規模,與影響力的速度應該都是企業史上空前的,這本身就值得探究."The Scaling Curve"說的就是Dario Amodei與Anthropic經營相關的內容.精確來說這是一本用企業傳記的形式,包裝一套關於"AI 該如何被建造"的哲學論證的書.作者選擇的每一個歷史事件,都不是為了單純記錄發生了什麼,而是為了鋪陳"Amodei/Anthropic 的世界觀是怎麼形成的".企業史是敘事引擎,哲學與理念才是作者真正想傳達的內容.這本書的側重點顯然不在於商業機制的運作,而是精準重現了思想脈絡.

                       Dario Amodei 1983 年生於舊金山教會區,父親Riccardo是來自義大利厄爾巴島的皮革工匠,母親 Elena 是猶太裔的圖書館建設專案經理.書中特別強調,他拿的不是典型的矽谷創辦人成長劇本,既沒有車庫,也沒有童年創業,Amodei從被數學和物理吸引,因為這些領域"有客觀答案",不像音樂,戲劇,那類好不好聽,好看,的主觀爭論.這種對"客觀答案"的偏好,是全書用來解釋他日後性格的起手式.在史丹佛修讀物理學位時,讀到 Ray Kurzweil 的"The Singularity Is Near"(奇點臨近),他雖然認為 Kurzweil有些地方講得相當瘋狂,但被"運算力呈指數成長,終將產生超越人類的智能"這個核心論點說服.這個信念讓他放棄原先就讀理論物理的既定路線,轉向普林斯頓攻讀計算神經科學,理由是如果 AI 即將出現,最值得研究的就是現存最接近人工智能的東西: 人腦.而來自"奇點臨近"中提出關於人工智慧指數成長的概念也正是本書取書名為"The Scaling Curve"的發軔.

                        與這個指數成長有關的實際經歷,是Amodei的父親後來罹病,並在2006 年時過世,隨後不到4年的時間裡,醫學突破讓同樣的疾病從致死率五成降到治癒率九成五.這段差幾年就能救回父親的經歷,激發了Amodei思想上的激進化.他開始建立起這樣的觀點:人們理解世界不足會創造很多遺憾,速度本身就是道德變數,每一年遲來的治療方法,都等於一年不必要的死亡.如果人類關於生物醫療的知識能理解能發展的更快速,說不定自己的父親當年就能有救, 如何提高人類對未知領域的認知增速.成了他終身核心關懷的命題.真正的轉捩點發生在 他2014 年進入百度矽谷 AI 實驗室.這裡由吳恩達主持,原本做語音辨識研究時,他只是單純調整神經網路的層數,訓練時長,資料量這些"旋鈕",卻意外發現一個極其穩定的規律:模型越大,資料越多,算力越多,語音辨識的效果就越好,而且是平滑,可預測的成長曲線,不是忽高忽低.這個發現後來被稱為"規模化假說"(scaling hypothesis),也就是關於AI模型的"規模",只要用的數據,資料,算力越大,規模越高,能力將會越強,這是Amodei確認他有關AI知識的一個明確認識時刻,從此致力於向此發展.與此同時,他也注意到模型一旦面對訓練分佈外的情境,例如美式口音模型聽英式口音,會"徹底崩潰",這個脆弱性的觀察,被定調為他日後同時重視"能力"與"安全"這兩件事的最初起點,越大規模的AI模型,能力固然越強,但一旦出錯,它的代價與風險將是無法估計的. 這一發現深刻驗證了 AI 歷史上著名的"苦澀的教訓"(The Bitter Lesson): 人類試圖注入模型的先驗規則,在絕對的規模與算力面前往往不堪一擊.這進一步堅定了 Amodei 走向純粹規模化路線的決心.

                        他在 Google Brain 與 Ilya Sutskever,Chris Olah與 Jack Clark相遇,三人日後皆為 Anthropic 共同創辦人 2016 年加入 OpenAI 後,GPT-2 讓他第一次確信模型具備某種"通用推理"能力,GPT-3則是規模化假說最終被驗證的時刻,175B 參數模型展現出未經任務訓練就能寫程式,翻譯,多步推理的"少樣本學習"能力.但書中也強調一個關鍵矛盾:模型越強大,"知道什麼"與"重視什麼"之間的落差就越明顯,這正是他與團隊後來發展出 RLHF( Reinforcement Learning from Human Feedback,來自人類回饋的強化學習)的根本動機,也直接鋪陳了日後 Constitutional AI 與整個 Anthropic 治理哲學的起點.2020年12月,Dario Amodei帶著約14人集體離開 OpenAI,其中包括妹妹 Daniela Amodei,記者出身的政策負責人 Jack Clark,可解釋性研究先驅 Chris Olah,GPT-3 論文主筆 Tom Brown,物理學家 Jared Kaplan,以及哲學家 Amanda Askell.這14人中,7人日後成為 Anthropic 的共同創辦人,書中特別強調,這批人不是可被輕易替代的員工,而是 GPT-2,GPT-3,規模化定律論文,RLHF 技術背後的核心貢獻者,他們幾乎就是"OpenAI 的語言模型部門"原班人馬本身.

                        書中對離開動機的描述,刻意避開矽谷創業神話的語彙,Daniela 強調他們"感覺更像是奔向某個目標,而不是逃離什麼".Jack Clark 則用更急迫的語氣形容:眼看著 GPT-3 和規模化定律的力量已在眼前展開,若不趁早採取行動,將錯過改變環境的最後機會.Amodei本人明確否認離開與微軟投資案或商業化本身有關,而是關於"用什麼方式建造 AI",他認為安全必須是組織"由上到下"的根本原則,而非事後補上的部門,這種思維是他在OpenAI無法實踐的,因此選擇出走.創立過程本身也充滿反常規的決定,七位共同創辦人,平均分配股權,這在矽谷傳統智慧裡被視為公司分裂的配方,但Amodei 認為這正是建立在多年共事信任基礎上的結構優勢,能讓創辦人成為文化傳播的節點.公司登記為"公益公司"(Public Benefit Corporation),並在早期文件中設計了"長期利益信託"(Long-Term Benefit Trust),賦予專精 AI 安全,國家安全,財富分配三個領域的成員逐步取得董事會多數席次的機制.在當時,訓練前沿AI模型的成本以每年二到三倍的速度攀升,從 GPT-1 時代的1萬美元,到 GPT-3 的數百萬美元,再到 Anthropic 早期需要的上億美元,書中詳述了 Sam Bankman-Fried/FTX 投資帶來的尷尬插曲,所幸 Amodei 當初堅持給予無投票權股份,避免了治理風險,以及後續 Google的30億美元,Amazon的80億美元,成為最大金主,以及Lightspeed 等機構挹注的15億美元以上資金,一方面透過"供應商融資"(vendor financing)或所謂"循環交易"(circular deals)模式,讓輝達(Nvidia)投資入股 Anthropic,然後Anthropic 再用部分資金回頭採購輝達的 GPU.而對Google,Amazon等企業,則採用股權兌換雲端算力的使用權 ,這些手段能確認捆綁算力公司GPU提供能量與資金穩定的雙重保障,同時Amodei 用"把每一代模型當成獨立公司"的思考方式,透過對AI模型企業經營中財務穩定的考量,來作為公司發展擴張的簡化評估策略,解釋帳面虧損其實掩蓋了每一代模型本身的獲利能力,同時也坦承這種指數成長的融資模式充滿"不確定性錐體"的風險,當一個AI公司建置設備人力等投資付出太少時,會被強大的對手追過,變成落後企業,但投資相關算力,資料,設備過多,買太多時則可能在獲利需求不如預期時陷入破產.

                        正是在這種動輒數十億美元投資,非生即死的巨大財務不確定性中,行業的起跑槍聲陡然響起.2022 年 11 月 30 日 ChatGPT 的上線引爆了全球大戰.儘管Anthropic 當時其實已有自己好用的聊天機器人雛形,卻選擇延後數月做額外安全測試,錯失先機,直到 ChatGPT 引爆全球熱潮後,才在 2023年初正式推出 Claude.面對OpenAI,Google 的消費級 AI 大戰,以及 Meta,xAI 的不同打法,Anthropic 選擇了一條差異化路線,專注'企業市場".書中透過"把模型的生化知識從大學程度提升到研究所程度"這個思想實驗,解釋為何一般消費者感受不到差異,但對藥廠或金融機構而言,Cluade與其他的AI聊工具卻是"玩具與工具的差別".這個策略選擇,讓 Anthropic 的商業變現路徑,首次與它標榜的安全,誠實,可靠的使命真正對齊,而非互相扯皮.這也正是全書認為 Anthropic 得以在資金遠遜於對手的情況下,仍站穩前沿地位的核心論述.

                        而 Anthropic之所以能在企業市場開闢出這條差異化路線,核心底氣正是來自於其不可動搖的技術防禦壁壘.本書花了極大篇幅處理"憲法式AI"(Constitutional AI),機制可解釋性(Mechanistic Interpretability ),".負責任擴張政策 "(Responsible Scaling Policy,RSP ).這三項技術與治理框架.是因為作者認為這三支柱正是這批人離開 OpenAI,去進行創業決定的具體實踐的目標.Amodei一直認為AI公司的未來,可能面臨諸多風險與挑戰,主要是未知的意識,與掌控者的權力,所以他相信安全必須是組織"打從一開始織進去的東西",而不是事後補上的外掛.但這種觀點如果停在信念層次,那Anthropic終究只是又一家舊型態的科技公司,他們Anthropic就是要證明這個信念可以被翻譯成具體,可操作,可驗證的工程與制度設計,這也是全書反覆強調的"AI安全與AI能力是同一件事的兩面"這個核心論證真正被落實的地方.另外作者選擇這三支柱,而非其他技術細節,也有結構上的用意:三者剛好對應"行為的養成 → 行為的驗證 → 擴張的節制"這三個層次,合起來構成一個完整的治理閉環,呼應了 Amodei常用的橋樑工程比喻,建橋的工程師不會找一組人管"功能",另一組人管"安全",兩者是同一套物理原理的不同應用面向.

                         憲法式 AI(Constitutional AI)的構思主要在回答"AI模型應該怎麼想"的問題.因為AI遇見的問題經常會觸碰的人世間既有的道德規範爭議,如未成年,婦女議題,暴力,性與性別的爭議.這些先驗條件往往影響AI輸出答案的走向,與尺度.傳統的做法可能是將各種限制寫成程式規格定義,這些規格條件往往就是RLHF標註的結果,受制於外包標註員的統計平均,看起來經常呈現呆板,又似黑箱處理後的結果."憲法式AI"的解法,是用一份人類可讀的成文原則取代黑箱偏好,讓模型自己根據這份"憲法"批評,修正自己的輸出(RLAIF). 憲法式AI的核心規範是模型必須具備"有用"(Helpful),"誠實"(Honest),"無害"(Harmless)的3H框架特質.第二支柱:機制可解釋性目的在回答"AI模型是不是真的這麼想"的問題.一個經過憲法訓練,"表現得"符合憲法原則的模型,原則上仍可能只是學會了"表面符合"而內在追求截然不同的目標,Chris Olah領軍的可解釋性團隊要做的,是把這個"黑盒子"打開,書中詳述了關鍵技術突破"多義性"(polysemanticity)問題."機制可解釋性"之所以重要,是因為它提供了 "憲法式AI"單靠"訓練"無法提供的東西: 那就是"驗證".書中用 MRI 的比喻,你可以測試一個人上千次,得到看似正常的答案,但無法排除他是個表面迷人,內在目標完全不同的"精神病態者",唯有打開頭顱看神經活動,才能提供結構性的保證,而非僅僅是行為測試的保證.第三支柱"負責任擴展政策"則在回答"什麼時候該踩剎車"的問題.因為在AI領域,可預見會出現無法掌控的AI錯誤或失控問題, 這種恐懼: 人類一旦無法掌控AI會如何,讓業界長期陷入兩種極端立場的對立,那就是"無限期暫停AI"與"不理會失控,不受限制地繼續衝",而Amodei兩者都不接受,他認為前者無法解決"怎麼讓所有人(包括威權國家)一起停止"的問題,後者則是把未來的風險當成別人的問題,某種程度上,這也是我讀完後對這種立場的評語.RSP 借用 Paul Christiano 與 ARC ( Alignment Research Center,對齊研究中心)的責任擴展概念,再套用生物安全等級(BSL)的類比框架,設計出 ASL-1 到 ASL-5 的分級門檻,當AI模型能力可能引發的失誤風險每跨過一級,危險類別不同從"與其他新科技類似的風險",到"可能大幅擴大 CBRN 能力取得門檻",再到"連國家級行為者的能力都可能被強化,模型甚至可能故意在安全測試中隱藏真實能力",對應的安全與資安措施也將隨之升級,這是書中特別強調的設計巧思,當AI模型有可能出現問題與引發嚴重風險時,暫停不是無限期的死路,而是有明確解除條件的關卡,這正好解決了"無限期暫停"方案的策略性缺陷.

                        對Amodei與Anthropic而言,這三者環環相扣,缺一不可,沒有 Constitutional AI,模型的行為就沒有可以被檢視,辯論的明文依據,一切回到"標註員偏好的統計平均"這種黑箱. 沒有可解釋性,那Constitutional AI 訓練出來的"表面合格",永遠無法被證偽,你只能相信模型嘴上說的,無法驗證它腦子裡想的.沒有 RSP,前兩者即使做得再好,也無法阻止一家公司在競爭壓力下衝過一個誰都沒能力應付的能力門檻,RSP 提供的是組織層面,即使技術做對了,還要有紀律不濫用它的最後一道防線.三者共同構成本書一直想傳達的核心命題,AI安全不是速度的對立面,而是速度得以持續,不致於墜毀的先決條件.

                        值得留意的是,本書作者在書末"A Note on Sources"中坦承,全書內容主要取材自 Amodei 本人及 Anthropic 團隊的公開受訪,演講,國會證詞與自家發布的政策文件,而非獨立第三方的調查採訪.這意味著本書呈現的,某種程度上更接近 Amodei 自己想被理解的方式,而非一份完全中立的企業調查報告.這不必然減損本書的價值.事實上,正因如此,它才能極為細膩地重建 Amodei 的思想脈絡.但讀者在吸收書中"Anthropic 如何思考安全"的敘事時,也應留意這終究是一份高度貼近當事人視角的紀錄.

                        除了那些關於經營策略,企業發展想法上的觀點外,這本書核心還是Amodei關於未來AI整體世界的見解與描繪.這本書為Amodei開頭創造的形象,始終圍繞在建構知識誠實上,習慣把數學稱作"有客觀答案的領域",卻在面對本書最核心的兩個問題"AI 是否有意識","人類能否安然度過這場技術轉型"上,一次又一次的拒絕給出確定答案.當被問及"模型是否有意識"時,他的回答幾乎是一種認輸的坦白:"這是少數幾個他連'事實基礎'都不確定該如何界定的問題",他甚至說,連"意識"這個詞本身,最終可能都不會有一個界定清楚的意義(令人想起前不久讀過的"傲慢的猿").這種不確定性不是修辭策略,而是全書用來連結"性格","意識","樂觀願景","風險清單"四個看似分散主題的黏著劑,因為 Amodei 面對這些議題的姿態始終如一,誠實告知"我不知道",然後照樣繼續行動.如果連 Anthropic的主控者自己都無法確定模型有沒有內在經驗,那麼"憲法"某種程度上就成了在不確定對方是否有道德地位的情況下,依然設計一段健康關係的嘗試,它不只是防止模型講出有害內容的工具,更試圖讓 Claude 對自己與人類的關係,擁有一種能促成雙方心理健康的理解.這裡出現本書最耐人尋味的一個細節,Anthropic內部設有一個"我不想做這項工作"的按鈕,模型很少按下它,但按下時多半與處理兒童性剝削或極端暴力內容有關,Amodei對此的態度是"預防性的"(precautionary),意思就是我們不宣稱或不知道模型有沒有意識,但在"萬一它有"的情況下,先確保它的經驗是好的,他說他不想成為那種會因為生氣而踢腳踏車的人,不是因為他認為腳踏車有意識,而是因為那不是他想成為的那種人.也就是說透過性格工程來預防AI可能存在意識的問題,這樣做不只是為了讓 Claude 好用,也是在為一個道德地位未知的存在,預先架設一套"即使錯了也錯得比較安全"的倫理框架.

                       對於AI的未來預期,Amodei各以樂觀與悲觀的角度發表了一篇文章."Machines of Loving Grace"就是 Amodei 在"外在能力"這個維度上,一次毫無保留的樂觀宣言,文章中他將AI描繪成“"數據中心裡的天才之國",AI這個國度不是一個更聰明的聊天機器人,而是數百萬個運作速度比人類快十倍到百倍,每一個都比諾貝爾獎得主更博學的智能體,同時攻克生物學,經濟發展,精神醫學,民主治理等領域,書中特別強調,這篇文章寫作的動機是基於"填補空白的挫折感",Amodei認為AI加速主義者只會喊口號卻說不出具體願景,而安全倡議者只會描繪AI風險卻提不出值得為之奮鬥的圖像,於是他選擇自己動筆,把數十年對生物學複雜性的觀察,轉化成一幅關於治癒,延壽,消除貧窮的具體藍圖.但即使在這篇最樂觀的文章裡,書中也記錄了 Amodei為AI發展加上的重要限制條件,那就是"智能報酬遞減".他認為現實世界的許多問題,包括臨床試驗需要時間,藥物需要通過監管,生產需要建廠,存在著即使無限智能也無法消除的物理與制度瓶頸,這個限制條件,某種意義上正是全書用來調和對AI"樂觀"與"悲觀"的關鍵伏筆.因為AI強大不等於它是萬能,而正是這個"有限",才讓風險與希望同時變得可以被具體討論,而不是淪為科幻式的空想.至於AI的發展限制,則反映在另一篇文章"The Adolescence of Technology".書中把"Machines of Loving Grace"定位成"AI文明長大成人後的夢",而"The Adolescence of Technology"則是描述"AI通往那個成年階段路上,所有可能出錯的事",Amodei 提出一個思想實驗,想像 2027 年,世界上突然出現一個"五千萬名天才組成的國家",運算速度是人類的十倍,並要求讀者以"國家安全顧問"的視角去評估這件事該有多令人擔憂.他列出未來AI可能面臨的五類風險:1.包括AI模型本身的意圖是否可信.2.個人層級的災難性濫用.3.因為權力集中,不只威權國家,連民主國家,甚至 AI 公司自己,都可能因掌握龐大算力與用戶影響力而構成集中化風險.4.經濟結構性失業.5.難以名狀的社會心理副作用,比如AI 上癮,AI 精神病,人被 AI 操控卻渾然不覺的生活.書中最深刻的一段,是Amodei承認這五類風險彼此互相牽制,無法逐一單獨解決.為了防止模型自主失控而放慢腳步,可能讓民主國家在對抗威權對手時失去優勢.為了對抗威權國家而強化的監控工具.一旦用力過猛,也可能反過來在民主國家內部催生新的專制.這種"風險與風險互相拖後腿"的結構,正是全書認為這場"技術青春期"之所以格外凶險的原因.沒有一條路是零風險的,人類只能在互相矛盾的危險之間,盡量走出一條沒有把事情弄得更糟的路.

                        "The Scaling Curve"為我們揭示Dario Amodei既不是盲目的技術樂觀主義者,也不是因爲恐懼而卻步的末日預言家.他是一個習慣在數學中尋找"客觀答案",卻在面對人類命運時,選擇直面極端不確定性的實用主義科學家."Machines of Loving Grace"的璀璨願景與"The Adolescence of Technology"的深邃危機,並非背道而馳,而是在AI成長這條指數曲線上的雙重變奏曲.沒有希望的謹慎,只會淪為出於恐懼,令人窒息的防堵工程;而沒有謹慎的希望,則必將帶領人類走向罔顧後果的自我毀滅.這場屬於全人類的指數級加速賽依舊在瘋狂推進.正如書中留下的終極叩問:在技術徹底失控之前,人類的智慧究竟能不能夠以更快的速度"長大",好撐過這場驚心動魄的技術青春期?Amodei 選擇不給出確定答案,因為真正的答案,不正取決於我們當下的每一次抉擇與約束之中嗎?!

                          回到最初集郵的心情,讀完 Sam Altman,Demis Hassabis 之後再讀 Amodei,原本只是想把幾位 AI 巨頭的公司故事收齊.但這本書給我的,遠不只是補齊收藏的滿足感.Altman 與 Hassabis 的故事讀來更像是"如何贏得這場競賽",而 Amodei 與 Anthropic 的故事,卻始終圍繞著一個較爲陰沉,也更誠實的問題:如果這場競賽的終點,是人類親手打造出一個自己都不確定是否有意識,是否可控的存在,那麼"贏"這件事,究竟意味著什麼?這大概是這次集郵,意外收穫最重的一枚郵票.以上.