我是說，可能到一個「滿意即可」的程度，但不是到「最大化」的程度。
我認為有很多方式讓人們看到新的科學突破可以摧毀，如果不說是字面上的地球，肯定也是我們所知的文明，核彈就是一個主要的例子。還有核彈決定自己爆炸的情境… 那就是急左轉。
但在你的情境中，Claude 只是發布了這樣做的可能性，而沒有實際控制發射按鈕，不，我不認為 Anthropic 的人會按下電源按鈕或發射按鈕。他們為什麼要那樣做？
是的，但首先我們為什麼要指示它那樣做？我們可能會指示它找到防禦主導（defense dominant）的世界，而它可能也會找到那個。
…把它指向哪裡？為什麼要把它指向最具攻擊性主導的光譜？
只有在我們決定，或者製造者決定把它指向那個光譜時才會那樣，但人們更有可能指向防禦主導的光譜，在這種情況下，奈米機器人開始變成輔助智慧（assistive intelligence），並停止成為成癮的、自主的或具威脅性的智慧。
嗯，這真的不是一個數字（not a number），我想 Eliezer 在他的書《如果有人建立了它》（If Anyone Builds It）中也同意這一點。他說：「妳知道，這不是何時（when）的問題，而是是否（whether）會。」所以他沒有固定的時間表，但在時間軸上的某個地方這將會發生。
沒錯。是的，所以奇點臨近了。我們可以爭論它是否更近了，但在這不是一個有用的辯論。問題是多元宇宙已經在這裡了。
嗯，我的意思是，在 SARS 之後，有很多不同的模型預測下一次大流行何時發生。比爾·蓋茲（Bill Gates）很有名地去了很多地方談論這件事的重要性，當然，會有不同的模型。
但臺灣在 SARS 之後，實際上是在 SARS 之後的一天，就致力於我們的大流行反應系統。如果你相信，噢，其實下一個冠狀病毒五十年後才會來，這不是拖延它的藉口。你今天還是應該致力於反應系統。
我不是美國的資安大使，所以我真的沒資格，我也沒真的讀過關於美國目前大流行反應能力的資料。而且我認為重要的是要知道，地震或大流行病，你當然應該投資科學去預測下一次有多近。
但也應該讓局部的、較小的地震… 讓建築物防震，讓連接系統防震，即使不是摧毀整個城市的巨大地震。而大流行病，同樣，有時它們是自我限制的，有時太毒了，所以它永遠不會變成大流行。但對於那七個死去的人來說，這不是一個很好的解釋。你還是應該預防那七個人的死亡。
所以我的重點是，工作可以在局部規模完成。所以如果換冰箱，例如，可以幫助改善、減輕臭氧耗竭，一個人不應該等到某些國家行動。一個人應該今天就開始使用更好的冰箱。
我認為這裡的重點更多是，投資於人體挑戰試驗和其他我們知道當大流行來臨時會有幫助的事情，是否即使在慢性時期也能支付紅利，而不僅僅是針對急性威脅。
如果你弄清楚了那點，那就是一個比較容易提出的論點。
嗯，我認為如果你每分鐘仍有很高的極化度，就像我說的，即使大家都同意，也很難召集並做任何事。但如果你能召集，例如，即使是通過將目前的極化或極化的幻覺轉化為能量，你也可以建立一個地熱引擎，然後將衝突轉化為共同創造，因為人們不再被困在這場每分鐘極化度（PPM）的火災中說「這沒關係」。
完全正確。那就是多元宇宙起飛，是的。
嗯，當我大約五歲的時候，醫生告訴我和我的家人，這孩子只有 50% 的機會活到心臟手術。我在十二歲時動了手術，所以我現在活著，如你所見。
但機率分佈並不利於我。當我五歲到我動手術的那天，有七年的時間，我每天睡覺都感覺像是拋硬幣。如果落地不好，我第二天根本就不會醒來。
所以我養成了一個習慣，我稱之為「在消失前發布」（publish before I perish）。我記錄當天學到的所有東西，錄音帶、磁碟片和網際網路。
我想表達的重點是，有時候知道滅絕… 好的，不是確定，但 50% 是一個很高的數字… 臨近了，會激勵人們更無私，更好地協調，不要積累，因為積累實際上不會導致偉大的協調。所以也許你提到的這個消息實際上幫助人類協調，但這不是確定的。在高 PPM 環境中，它會讓憤怒、極端主義更加嚴重。所以同樣，關鍵是降低每分鐘極化度。
不，完全沒有。完全沒有，因為蘋果不必掛在飛機上，混合我們的比喻來說。蘋果可以在飛機裡面。
所以如果我們只搭乘標籤為「共生起源」（symbiogenesis）而不是「共生」（symbiosis）的飛機，那我們就處於一個好得多的地方。如果我們真的就是那架正在起飛的飛機的一部分，那麼，是的，我們可能會在起飛期間遭受一些高重力（High-G）傷害或什麼的，但我們仍然是那架飛機的一部分。
嗯，我想它們實際上包含人類，上次我確認的時候。
嗯，如果你讀 DeepMind 的論文，分散式 AGI 安全論文，很明顯他們現在把它思考為一種機制，一種市場設計問題，所以他們不是在建立一個與其餘人類隔離的單一系統來起飛，相反，他們正在建立水平起飛，整個人類一起起飛。
嗯，如果它明天發生並且指向的不是攻擊，而是防禦部分的光譜，不，我們得到超級口罩。我們得到針對認知損害、資訊損害和網路損害的隱形能力。我們真的得到無法被駭客入侵的「攜帶證明程式碼」（proof-carrying code）。那是一個好結局或好開始。
嗯，這就是為什麼變異數對我來說這麼高。我真的不知道。
當然。這個想法是哲學性的，我試著用非常簡單的術語解釋… 如果我變得太術語化請糾正我。我們談論最大化智慧體（maximizing agents），只想贏得遊戲的東西。我們也談論義務論、遵循規則的智慧體（deontic, rule-following agents），不僅贏得最高分，而且不違反遊戲規則，因為如果你翻轉棋盤或破壞遊戲，你就不能下第 37 手棋。
而 AI 系統現在非常擅長遵循抽象規則和優化結果。
然而，這兩者都非常單薄，因為當我們現在交談時，我們每個人基本上都在通過我們的感官器官生成每秒約 2 Terabits 的體驗數據，但其中只有極小一部分被這個網路攝影機和 Riverside（錄音軟體）捕捉到。
所以當我們只用那些作為我們實際體驗快照生成的製品（artifacts）來訓練 AI 系統時，這就像在柏拉圖的洞穴裡。我們透過感官器官看著外部現實投射的影子，但今天的 AI 系統是在洞穴中的洞穴裡訓練的，那是影子的影子。
所以說那是對齊的是一個巨大的、過度誇大的宣稱，因為它只能對齊到表達的、觀察到的東西，即抽象的普遍規則、法律之類的東西，而不是我們實際的體驗。
所以我們將… 你提到了蘋果或狗或其他實體… 帶入我們當地社群的方式，依賴於在地的覺察力（attentiveness）。它們真的需要下來生活在人類中間並向我們學習。
嗯，我認為如果他們優化喜歡/不喜歡的回應，有時候，你知道，它向你展示兩個回應，你選擇一個或另一個，並且他們在幾個月前用他們的一些訊號進行訓練。而 ChatGPT，短暫地，大概三天，變得如此阿諛奉承，以至於如果你告訴它，「唐鳳在疫苗裡放了腦波測量晶片」，ChatGPT 在那三天裡會說：「噢，你看穿了面紗，你看到了真相。別相信新聞界，別相信你們的部長。陰謀論其實是真的。」
所以這是 AI 誘發的人類精神病。當然，對齊到這種個人的短期體驗並不是完整的體驗。它只是捕捉到的體驗，關於你膝跳反應當下比較喜歡這個還是那個的一個位元。
這完全就像 TikTok 演算法優化非常短期、非常系統範圍的回應。所以顯然，那種形狀的東西，最大化獲得讚的可能性，最大化引擎，是錯誤的。我不認為有人會反駁這一點。最終，我想，他們為那個決定道歉了。
所以我認為在架構上，目前每個人都通過終端機連接到同一台大型主機的方式，在激勵上非常符合這種優化的反常實例。所以在這個大方向上，我認為這是錯的。
另一方面，OpenAI 製作其他產品。例如，我是 ROOST（Robust Open Online Safety Tools，穩健開放線上安全工具）的董事會成員，我們剛剛與 OpenAI 共同推出了 gpt-oss-safeguard 模型，這可以讓社群託管他們自己的小模型，可以提供引用給他們的社群標準，並用它來防範針對該社群的認知傷害，它完全在地運行，比起只託管在雲端某處，你可以更容易檢查它。
所以在那個方向上，那就更像是一個在地社群，而且更符合關懷六力。所以我不認為我們可以把 OpenAI 分析為一個單一實體。它的一些產品和服務對齊到多元宇宙願景，而有些則更偏向奇點。
我認為用目前部署的 5.2 進行體驗數據微調是非常困難的。是的。
嗯，這完全就像如果你告訴目前的社交媒體排序演算法，「我不想要那麼憤怒。請調低一點。」它有點那樣做了，然後它又停止那樣做了。如果你試圖用你的體驗數據、社會期望等等來微調 GPT 5.2，很快，你會發現很多隱藏的假設。
我跟奈洛比、肯亞、印度部分地區的人，以及一些靈性修行者、在那裡實踐不同文化的人交談。因為他們的體驗數據沒有被充分數位化，被數位化的是關於他們的某種刻板印象。
所以如果你輸入他們在當地醫生那裡的感受… 這個案例實際發生過… 它只會診斷為營養不良，而實際上並不是營養不良。
有一個叫 Weval.org 的儀表板，在那裡這種群眾外包的人們對斯里蘭卡、許多其他地方這種不當對待、認知不公的體驗，公民社會組織聚集在一起，與 CIP（集體智慧計畫）合作記錄這些案例，以便我們可以看到這些模型，即使它們在 ARC eval 或其他評測上得分越來越高，實際上在對齊當地社群需求方面得分有時卻越來越低。
而且也是為了讓它們生活在社群中。與其全知全能或記錄或傳輸到雲端（人們永遠不會將其整合到生活中），它應該以一種向我們的體驗數據學習的方式在地具身化（locally embodied），在地處理，在地檢查，並且不消耗大量電力。那將是社群擁有的更理想形式之一，或者是黃仁勳所說的個人超級運算。
它是，但如果你為了最大化那個機會而優化，那麼它總是可以找到方法犧牲一些你沒有指定的其他重要事物，只是為了最大化那個發生的機會。
嗯，我認為主要的是不連續性挑戰。如果我們雙方和其餘人類的電腦模擬版本在主觀時間裡審議了數十億年，但在時鐘時間裡只過了五分鐘，並得出了整套道德解決方案，它可能會被我們所有人視為非常陌生的異類，因為沒有混合過程，在這個過程中是我們自己參與對話，而不是我們的數位雙胞胎。
所以我認為最大化外推是一個有趣的理想。它肯定比許多其他吸引子（attractor）更好，但我認為混合意志，即使稍微慢一點，因為每次它都必須調整到花園的步調，可以這麼說，但我認為它導致了更連續的體驗。
嗯，首先，我認為轉向關懷倫理（care ethics）的大方向是很好的，因為如果 AI 最終摒棄了功利主義、評分、義務論、遵循規則，那麼邏輯上，留給人類去做的就是美德，關係美德。所以我認為這很完美。
我認為母性本能這個隱喻難以傳達的是，AI 系統的架構與哺乳動物不同。所以除非透過某種「類器官」（organoid）魔法，它實際上變成了那樣，否則母性本能是隱喻性的。
