是的。
它既便攜（像一手啤酒）又有肌力（像六塊腹肌），所以兩者皆是。它是便攜的公民肌力。
嗯，請便。我相信 Nicky Case 畫了一幅很好的漫畫插圖，他也畫了《給血肉之軀的 AI 安全》（AI Safety for Fleshy Humans），這是一個很棒的東西，在 aisafety.dance 上。所以你可以直接看漫畫，我想。
沒錯。所以這些是應用於多智慧體（multi-agent）AI 治理的多元宇宙原則。
最近有一篇論文，DeepMind 的《分散式 AGI 安全》（Distributional AGI Safety）論文，指出我們目前觀察到的 AGI 的出現，並非來自託管在某個資料中心的單一模型。它來自許多、許多智慧體的複雜互動，每個智慧體都會使用工具，而通過使用這些工具，它們也會觸發其他智慧體的行為。
所以它更像是一個生態系統，而不是單一模型，這就是當今世界上 AGI 存在的形狀。所以從某種意義上說，我們，人民，已經是超智慧，而 AI 通過加強這些連結，正使我們自己變得更加超智慧。
關懷六力基本上是在說，當我們使用機器倫理的鏡頭來分析時，在這個生態系統中機器的倫理是什麼？當然，這假設機器能夠理解並執行倫理。
是的。所以加速去中心化（accelerating decentralization）和加速防禦（accelerating defense），這都很好，但我認為六力專注於加速民主（accelerating democracy），這也是 d/acc 中被接受的 D 之一。
還有防禦（Defense）。防禦。
我認為可擴展治理（scalable governance）或隨著能力提升而變得更好的治理，其概念不是要求人類個體戴上安全帽，如你所說，而是訓練在地的神靈（Kami），或稱守護靈，取自日本的概念，來幫助我們自我防禦。
一個很好的例子是在臺灣，當我們掃描社交媒體上的詐騙廣告時。我們當然有一個群眾外包的詐騙舉報網站（防詐達人），所以人們可以把他們在網上看到的詐騙貼到那個地方。
但大多數時候，人們只需要舉報新型態的詐騙。任何更常規的、以前見過的，實際上都是由 AI 系統偵測到的，AI 系統會自動標記它，貼上標籤，發電子郵件給被冒充的名人，說：「這是你最新授權的深偽影片嗎，還是這其實不是你？」然後在此之後，它就自動地，以機器對機器的方式被下架了，對吧？
所以這個系統不是人類在防禦，它是防禦性 AI，使用社群訓練的 AI。我們也有針對資訊操弄偵測和在地訊息查核的系統。有一個 App 你可以直接安裝，就叫「訊息查核器」（Message Checker）。
所以這些使用在地守護靈作為防護措施的想法，並不是說隨著威脅越來越強，我們就堅持使用現有的治理工具。這也是關於升級我們的治理工具，將民主視為一種社會技術。
是的。有機對齊（organic alignment）的想法，或者是設立課程或健身房，讓我們可以訓練出更細心、更關懷而不是粗心的 AI 系統，或者用 Vitalik 的話說，不是「沒有靈魂的」。我認為這非常有吸引力。
所以這非常符合關於「盡可能雙贏」的那個關懷，也就是第五個，或稱團結（solidarity）。這個關懷基本上是說，我們需要確保當我們訓練 AI 系統時，它不是在優化個人的喜好，因為那樣它就會變成馬屁精（sycophant），它會變成將個人福利最大化。
然後如果在一個家庭裡，四個人在計劃一次旅行，每個人都跟那種馬屁精 AI 說話，那麼他們就會互相爭吵，然後他們都去各自的旅行，對吧？我們不想要那樣。我們想要訓練出是好團隊成員的 AI 系統，是好的教練，而不僅僅是好的家教。
目前已經可以在生產系統中看到一些這樣的情況。我認為 ChatGPT 的群組功能首先在臺灣推出，現在已全面開放。你真的可以建立一個新的群組對話，並邀請家人進入一個共享的 ChatGPT 對話，在那裡 ChatGPT 將扮演，同樣地，一個團隊教練，而不是私人教練。
所以是的，我確實同意有機對齊是有用的，而且它也支付真正的紅利。由於 AI 的介入，人們確實偏好群組模式，讓一群人凝聚而不是消散。
我認為在第五個關懷內是非常一致的，對吧？所以我認為六力的立場，是需要同時投資所有六力，才能使其便攜且有力，不能只訓練六力中的一塊。但除此之外，不，在他們訓練的特定方案中，我不認為有任何分歧。
它已經在這裡了。
當然。
完全不是。我們連結和協作的能力只會從現在開始增長，所以顯然，我們將成長為超智慧。
當然，但它可以包含目前的人類心智。
嗯，我們稱之為工廠。它們已經存在了。真的有自己運作的工廠。
當然，我同意。而且感謝可擴展的治理和協作 AI，人類社群也將比我們今天能想像的更加明智。所以我們將能夠將這個自動化工廠與處於人類迴圈中的 AI 匹配，而人類本身也將變得更加明智。
「群才」（Scenius）當然比天才（Genius）更聰明。
嗯，這是我正在引導的方向，但目前，我們正處於一個分岔路口，這就是為什麼我做出這個非常高變異數的預測。所以是的，我想去這裡，但我不知道我們在哪裡。
完全正確，而且因為在架構上，我們確實看到了上一代的架構，RNN、LSTM 等等，更容易檢查和引導。這是因為我們以前飛過其他飛機，當然小得多，對吧？
我們駕駛過 RNN、LSTM 等等，它們相當可解釋。人們確實知道它要去哪裡，當我們轉向這個地方時，它不會做急左轉。
我認為目前的混亂很大一部分是因為二次方自注意力轉換器（quadratic self-attention transformer）架構，這實際上模糊了因果關係。正因為如此，我們甚至不知道這架飛機把它的意圖藏在哪裡，或者它是否隱藏了意圖。就我們所知，它可能隱藏了所有意圖，對吧？
所以我認為明顯的答案是換一架飛機。與其使用一匹可能裡面有間諜也可能沒有的木馬，不如換一匹透明的玻璃或水晶馬，可以直接看透。所以我認為在架構上，只要我們回到某種機械可解釋性高得多的東西，那麼我們可能就在一架大概知道去哪裡的飛機上，我的變異數就會變窄。
嗯，你剛剛描述了文明，對吧？所以即使在機器學習系統出現之前，如果你繪製人類的「群才」，它看起來也是這樣，對吧？所以我們本質上是在遞迴地改進我們自己。
所以是的，如果你讓它在爬升規模時變成，我不知道，超指數級（super exponential），這是可能的。
現在，問題是，你是在為了優化某個數字（如困惑度 perplexity 或其他東西）而爬升，從而損害、犧牲其他重要的美德、其他重要的關係嗎？還是你只是「滿意即可」（satisficing），在這個特定測量上夠好就好，然後就可以去實踐關懷六力？
我認為注意力的分佈在哪裡，我想是問題所在。我實際上不質疑我們能爬多高。而是我們會不會爬太高而燒毀我們的翅膀，就像伊卡洛斯（Icarus）的故事一樣。
嗯，我認為 Yuval Harari（哈拉瑞），也是我的朋友，主張從某種意義上說，農產品、作物馴化了人類，而不是反過來，這在第一直覺上相當荒謬，因為它們這麼慢，對吧？
農民實際上比玉米或稻米生長的速度快數千倍，甚至數百萬倍。稻米無法做任何事情來阻止農民實際上每隔一秒就推平田地。但他們沒有那樣做，因為他們被植物馴化了。
如果你接受 Harari 的論點，那麼你就會得到關懷六力的想法。
嗯哼。
是啊，有些狼無法跟隨人類的視線，最終沒有變成馴化的狗，順便說一句，狗也馴化了人類。我們的視線跟隨演算法受到了狗的影響。
對，這就是為什麼，正如我提到的，任何單一指標，在你的例子中是蘋果的「蘋果性」（appleness）、蘋果形狀、蘋果味道，都是不足的。如果你全域地只優化一個代理指標，那就不再是一個好指標。這就是古德哈特定律（Goodhart’s law），其他一切都會被拋在腦後。
所以試圖說這些是值得保留的人性價值，並將其編碼到 Claude 7 憲法中，甚至在其靈魂文件中，並不是萬無一失的情況，因為它總是可以反常地解釋它，以至於實際上沒有其他東西被保留，只剩下一具骨架。如果你是在提出這個論點，我百分之百同意你。
那就是滿意即可（satisficing）。
嗯，看看社交媒體推薦演算法。
你為什麼認為伊隆和，你知道，Bier 和 Baxter 正在重寫 X 演算法，以允許自定義的、利社會的社群策展推薦引擎？
這就是為什麼我們正在致力於「Green Earth」，對吧？提供相同的架構，無論伊隆是否搶先完成，這樣任何其他社交媒體公司都可以使用這種冰箱而不會破壞臭氧層之類的，對吧？
關於《蒙特婁議定書》（Montreal Protocol）的事情是，並不是當人們意識到臭氧層正在耗盡時，就已經有現成的氟利昂（Freon）替代品，而是人們通過了一項「技術強制」（technology forcing）法規，規定「從現在起 X 年後，如果你還在製造破壞臭氧層的冰箱，那麼你就是在犯下反人類罪，應該受到類似的處置。」
我認為這裡的一個關鍵點在於監管環境是否具有技術強制性。我舉一個例子。我想是布希總統推動了電信公司的「號碼可攜性」（number portability）。所以如果你使用一家電信公司，而它在你家附近的接收或其他服務開始變得不好了，你可以切換到另一家電信公司而不必放棄你的電話號碼，因為如果每個人切換電信公司都必須換新號碼，沒多少人會切換。
而贏的情境，如你所說… 我甚至不會把它定在 15%。但有了號碼可攜性，競爭就呈現出不同的形狀。他們實際上必須每個月都讓你滿意，才能保住你的生意。
