所以在美國猶他州，他們已經通過了一項法律，規定從 2026 年 7 月開始，如果你是猶他州公民，你從 X 搬到 Bluesky 或 Truth Social（這些是開源的），你可以帶走你所有的社群、所有的新讚、新粉絲、你已經擁有的任何訂閱者、對話等等。舊網路隨後在法律上有義務轉發給新網路，無論它們大小如何。
當然，這對除了主導玩家之外的所有人都有利，但也對所有目前已經考慮跳船但不想放棄社群的人有利。他們被挾持了。所以我的觀點是，激進的可攜性和互操作性（interoperability）可以通過扮演「滿意即可」的角色，與訂閱激勵對齊，讓市場自我修復。
我們在社交媒體上沒有這個。我們在 Podcast、電信和 ATM 等方面有這個。所以我認為在 AI 服務中引入互操作性和情境可攜性也是一種對齊激勵的方法，就像我們討論關於社交媒體那樣。
嗯，會有一個 Foom，就像會有… 已經有了局部的流行病，而在那些從流行病中學到教訓並增強公民肌肉的地方，對大流行病變得更有免疫力。
所以我的觀點不是說壞事不會發生或永遠不會發生，而是它會發生在足夠局部的規模上，所以我們的選擇是我們要忽視它，直到出現更大的火災才學到教訓，直到它真的燒毀文明或烤熟地球，還是我們要從那些小火中學習，然後將它們馴化成篝火而不是野火？
嗯，我覺得那太多字了。通常，我只說「烤熟地球的超熱資料中心工廠機器人」。字少多了，效果一樣。
嗯，我認為根據 RAND 的說法，他們說 AI 系統加上人類有可能找到這種化合物，使其更容易觸發一種閃燃事件（flash event），在沒有協調對話的情況下遞迴地使大氣變得非常非常熱。所以這就像是 Nick Bostrom（也是來自牛津）的「脆弱世界假說」（vulnerable world hypothesis）。
也許是一種化學化合物讓地球變得更熱，而不知何故資料中心、工廠、機器人在這種高溫環境下茁壯成長，而策劃這場行動的人不知何故相信他們可以躲在太空中或以某種方式變成超人類，然後基本上造成地球完全烘烤，使他們受益而其他人受害。所以如果你想談科幻，我認為這比奈米機器人更容易解釋。
嗯，我認為要導致那樣，你需要人類的集體去權（collective disempowerment）。所以每個人都被困在倉鼠滾輪裡，覺得他們實際上在影響未來的時間線，但我們集體變得對任何運算元素製造者的智慧在想什麼無能為力。所以如果沒有集體去權，我不認為會導致那種情境。
我是說，可能到一個「滿意即可」的程度，但不是到「最大化」的程度。
我認為有很多方式讓人們看到新的科學突破可以摧毀，如果不說是字面上的地球，肯定也是我們所知的文明，核彈就是一個主要的例子。還有核彈決定自己爆炸的情境… 那就是急左轉。
但在你的情境中，Claude 只是發布了這樣做的可能性，而沒有實際控制發射按鈕，不，我不認為 Anthropic 的人會按下電源按鈕或發射按鈕。他們為什麼要那樣做？
是的，但首先我們為什麼要指示它那樣做？我們可能會指示它找到防禦主導（defense dominant）的世界，而它可能也會找到那個。
…把它指向哪裡？為什麼要把它指向最具攻擊性主導的光譜？
只有在我們決定，或者製造者決定把它指向那個光譜時才會那樣，但人們更有可能指向防禦主導的光譜，在這種情況下，奈米機器人開始變成輔助智慧（assistive intelligence），並停止成為成癮的、自主的或具威脅性的智慧。
嗯，這真的不是一個數字（not a number），我想 Eliezer 在他的書《如果有人建立了它》（If Anyone Builds It）中也同意這一點。他說：「妳知道，這不是何時（when）的問題，而是是否（whether）會。」所以他沒有固定的時間表，但在時間軸上的某個地方這將會發生。
沒錯。是的，所以奇點臨近了。我們可以爭論它是否更近了，但在這不是一個有用的辯論。問題是多元宇宙已經在這裡了。
嗯，我的意思是，在 SARS 之後，有很多不同的模型預測下一次大流行何時發生。比爾·蓋茲（Bill Gates）很有名地去了很多地方談論這件事的重要性，當然，會有不同的模型。
但臺灣在 SARS 之後，實際上是在 SARS 之後的一天，就致力於我們的大流行反應系統。如果你相信，噢，其實下一個冠狀病毒五十年後才會來，這不是拖延它的藉口。你今天還是應該致力於反應系統。
我不是美國的資安大使，所以我真的沒資格，我也沒真的讀過關於美國目前大流行反應能力的資料。而且我認為重要的是要知道，地震或大流行病，你當然應該投資科學去預測下一次有多近。
但也應該讓局部的、較小的地震… 讓建築物防震，讓連接系統防震，即使不是摧毀整個城市的巨大地震。而大流行病，同樣，有時它們是自我限制的，有時太毒了，所以它永遠不會變成大流行。但對於那七個死去的人來說，這不是一個很好的解釋。你還是應該預防那七個人的死亡。
所以我的重點是，工作可以在局部規模完成。所以如果換冰箱，例如，可以幫助改善、減輕臭氧耗竭，一個人不應該等到某些國家行動。一個人應該今天就開始使用更好的冰箱。
我認為這裡的重點更多是，投資於人體挑戰試驗和其他我們知道當大流行來臨時會有幫助的事情，是否即使在慢性時期也能支付紅利，而不僅僅是針對急性威脅。
如果你弄清楚了那點，那就是一個比較容易提出的論點。
嗯，我認為如果你每分鐘仍有很高的極化度，就像我說的，即使大家都同意，也很難召集並做任何事。但如果你能召集，例如，即使是通過將目前的極化或極化的幻覺轉化為能量，你也可以建立一個地熱引擎，然後將衝突轉化為共同創造，因為人們不再被困在這場每分鐘極化度（PPM）的火災中說「這沒關係」。
完全正確。那就是多元宇宙起飛，是的。
嗯，當我大約五歲的時候，醫生告訴我和我的家人，這孩子只有 50% 的機會活到心臟手術。我在十二歲時動了手術，所以我現在活著，如你所見。
但機率分佈並不利於我。當我五歲到我動手術的那天，有七年的時間，我每天睡覺都感覺像是拋硬幣。如果落地不好，我第二天根本就不會醒來。
所以我養成了一個習慣，我稱之為「在消失前發布」（publish before I perish）。我記錄當天學到的所有東西，錄音帶、磁碟片和網際網路。
我想表達的重點是，有時候知道滅絕… 好的，不是確定，但 50% 是一個很高的數字… 臨近了，會激勵人們更無私，更好地協調，不要積累，因為積累實際上不會導致偉大的協調。所以也許你提到的這個消息實際上幫助人類協調，但這不是確定的。在高 PPM 環境中，它會讓憤怒、極端主義更加嚴重。所以同樣，關鍵是降低每分鐘極化度。
不，完全沒有。完全沒有，因為蘋果不必掛在飛機上，混合我們的比喻來說。蘋果可以在飛機裡面。
所以如果我們只搭乘標籤為「共生起源」（symbiogenesis）而不是「共生」（symbiosis）的飛機，那我們就處於一個好得多的地方。如果我們真的就是那架正在起飛的飛機的一部分，那麼，是的，我們可能會在起飛期間遭受一些高重力（High-G）傷害或什麼的，但我們仍然是那架飛機的一部分。
嗯，我想它們實際上包含人類，上次我確認的時候。
嗯，如果你讀 DeepMind 的論文，分散式 AGI 安全論文，很明顯他們現在把它思考為一種機制，一種市場設計問題，所以他們不是在建立一個與其餘人類隔離的單一系統來起飛，相反，他們正在建立水平起飛，整個人類一起起飛。
嗯，如果它明天發生並且指向的不是攻擊，而是防禦部分的光譜，不，我們得到超級口罩。我們得到針對認知損害、資訊損害和網路損害的隱形能力。我們真的得到無法被駭客入侵的「攜帶證明程式碼」（proof-carrying code）。那是一個好結局或好開始。
嗯，這就是為什麼變異數對我來說這麼高。我真的不知道。
當然。這個想法是哲學性的，我試著用非常簡單的術語解釋… 如果我變得太術語化請糾正我。我們談論最大化智慧體（maximizing agents），只想贏得遊戲的東西。我們也談論義務論、遵循規則的智慧體（deontic, rule-following agents），不僅贏得最高分，而且不違反遊戲規則，因為如果你翻轉棋盤或破壞遊戲，你就不能下第 37 手棋。
而 AI 系統現在非常擅長遵循抽象規則和優化結果。
然而，這兩者都非常單薄，因為當我們現在交談時，我們每個人基本上都在通過我們的感官器官生成每秒約 2 Terabits 的體驗數據，但其中只有極小一部分被這個網路攝影機和 Riverside（錄音軟體）捕捉到。
所以當我們只用那些作為我們實際體驗快照生成的製品（artifacts）來訓練 AI 系統時，這就像在柏拉圖的洞穴裡。我們透過感官器官看著外部現實投射的影子，但今天的 AI 系統是在洞穴中的洞穴裡訓練的，那是影子的影子。
所以說那是對齊的是一個巨大的、過度誇大的宣稱，因為它只能對齊到表達的、觀察到的東西，即抽象的普遍規則、法律之類的東西，而不是我們實際的體驗。
所以我們將… 你提到了蘋果或狗或其他實體… 帶入我們當地社群的方式，依賴於在地的覺察力（attentiveness）。它們真的需要下來生活在人類中間並向我們學習。
嗯，我認為如果他們優化喜歡/不喜歡的回應，有時候，你知道，它向你展示兩個回應，你選擇一個或另一個，並且他們在幾個月前用他們的一些訊號進行訓練。而 ChatGPT，短暫地，大概三天，變得如此阿諛奉承，以至於如果你告訴它，「唐鳳在疫苗裡放了腦波測量晶片」，ChatGPT 在那三天裡會說：「噢，你看穿了面紗，你看到了真相。別相信新聞界，別相信你們的部長。陰謀論其實是真的。」
所以這是 AI 誘發的人類精神病。當然，對齊到這種個人的短期體驗並不是完整的體驗。它只是捕捉到的體驗，關於你膝跳反應當下比較喜歡這個還是那個的一個位元。
這完全就像 TikTok 演算法優化非常短期、非常系統範圍的回應。所以顯然，那種形狀的東西，最大化獲得讚的可能性，最大化引擎，是錯誤的。我不認為有人會反駁這一點。最終，我想，他們為那個決定道歉了。
所以我認為在架構上，目前每個人都通過終端機連接到同一台大型主機的方式，在激勵上非常符合這種優化的反常實例。所以在這個大方向上，我認為這是錯的。
另一方面，OpenAI 製作其他產品。例如，我是 ROOST（Robust Open Online Safety Tools，穩健開放線上安全工具）的董事會成員，我們剛剛與 OpenAI 共同推出了 gpt-oss-safeguard 模型，這可以讓社群託管他們自己的小模型，可以提供引用給他們的社群標準，並用它來防範針對該社群的認知傷害，它完全在地運行，比起只託管在雲端某處，你可以更容易檢查它。
所以在那個方向上，那就更像是一個在地社群，而且更符合關懷六力。所以我不認為我們可以把 OpenAI 分析為一個單一實體。它的一些產品和服務對齊到多元宇宙願景，而有些則更偏向奇點。
我認為用目前部署的 5.2 進行體驗數據微調是非常困難的。是的。
嗯，這完全就像如果你告訴目前的社交媒體排序演算法，「我不想要那麼憤怒。請調低一點。」它有點那樣做了，然後它又停止那樣做了。如果你試圖用你的體驗數據、社會期望等等來微調 GPT 5.2，很快，你會發現很多隱藏的假設。
