來自 宝玉（@dotey）的推文串

翻譯：抵制「腦洞大開」的思考陷阱 一種思維或論證方式好不好，有個很重要的標準，我稱之為'抵制腦洞大開'(galaxy brain resistance)的能力（這是一個網絡梗，'Galaxy Brain'或'宇宙大腦'，常用來諷刺那些把簡單問題過度複雜化，或為錯誤觀點找一套看似高深理論的“聰明人”）：它到底有多難被濫用？你能不能用它來為你（早就出於別的原因）想做的任何事「自圓其說」？這精神和科學裡的'可證偽性'(falsifiability)（指一個理論必須有可能被證明是錯的，才算是科學理論）很像：如果你的論點能證明一切，那它就什麼也證明不了。 你應該止步於第二步。 要理解為什麼『抵制腦洞大開』很重要，最簡單的辦法就是看看缺乏它時會發生什麼。你可能聽過很多類似這樣的話： > 我們正在建立一個全新的去中心化____市場，它將徹底改變____客戶與其供應商的互動方式，並允許創作者將其受眾轉變為數位民族國家。 $____是一種治理代幣，讓你能在這個快速成長的市場中扮演直接角色。如果我們能佔據____市場1%的份額，這將是一個____億美元的市場，而這個治理代幣將價值數十億。 在政治領域，情況可能會糟糕得多。比如： > [某個少數族裔]要為許多持續的社會混亂負責，他們耗盡了我們的資源。如果我們能徹底清除他們（我指的是'徹底'清除，讓他們再也回不來），這雖然是一次殘酷的一次性行動，但從長遠來看，如果這能讓我們的經濟增長率提高千分之五，那麼500年後，我們的國家將比原來富裕12倍。這將是無數更幸福、更充實的人生。如果僅僅因為懦弱，害怕在今天付出這一次性代價，而讓我們的後代過著極其貧困的生活，那將是嚴重的不公。 要反駁上面的論點，一種方法是把它們當作哲學課上的數學題，找出你不同意的具體前提或步驟，然後駁斥它們。但更現實的方法是，你得意識到，在現實世界中，上述論點幾乎都不是'推理'——它們是'合理化'（即先有結論，再倒推理由）。 那些人早就有了結論，原因很可能是出於私利或情緒（比如他們自己屯了那個代幣，或者他們真的、真的非常討厭那個少數族裔），然後他們才編造出那些花哨的論點，來證明自己有多合理。這些花俏論點的目的在於：(i) 欺騙演講者自己的'高級思維'，讓它服從於'原始本能'；(ii) 試圖通過拉攏不僅是受蒙蔽的人，還有那些自以為很聰明的人（或更糟的，真正聰明的人）入夥，來壯大他們的運動。 在這篇文章中，我將論證，那些'抵制腦洞大開'能力很弱的思維模式是一種普遍現象，有些後果溫和，有些則極其嚴重。我也會介紹一些『抵制腦洞大開』能力很強的模式，並倡導使用它們。 那些「抵制腦洞大開」能力很弱的思考模式 宿命論(Inevitabilism) 看看最近這則推文，它是一個典型例子，完美展現了矽谷AI「鼓吹主義」的論調： > “自動化帶來的大規模失業是不可避免的。這是一個無法迴避的自然經濟規律。我們公司(Mechanize Inc) 的目標是加速這一進程，確保平穩過渡，而不是徒勞地抵抗它。加入我們，共同建設未來。” 這是'宿命論謬誤'(inevitability fallacy)的典型。這篇文章從一個（也許是合理的）聲明開始：經濟的完全自動化最終必然會發生。然後它直接跳到了結論：我們應該積極地加速這一天的到來（以及隨之而來的人類勞動力失業）。為什麼要積極加速呢？哦，我們都懂：因為寫這則推文的是一家公司，而這家公司的整個業務就是積極地加速這件事。 誠然，'宿命論'是一個哲學錯誤，我們可以在哲學上反駁它。如果讓我來反駁，我會集中在三點： - 宿命論過度假設存在一個'無限流動的市場'，如果你不做，別人也會立刻補上。某些行業或許如此。但AI恰恰相反：這是一個絕大部分進展由極少數人和企業推動的領域。如果他們中有一個停下來，事情真的會明顯放慢。 - 宿命論低估了人們集體決策的力量。如果一個人或一家公司做了某個決定，這往往會為其他人樹立榜樣。即使短期內無人跟隨，它也可能為後續的更多行動埋下伏筆。勇敢地站出來反對一件事，甚至可以提醒人們：『勇敢的立場』本身是可能奏效的。 - 宿命論過度簡化了選擇空間。 Mechanize公司可以繼續致力於經濟的完全自動化。他們也可以關門大吉。但他們同樣可以調整工作方向，專注於構建'部分自動化'的形式，賦權給那些仍在流程中的人類，最大限度地延長'人機協作'優於'純AI'的時期，從而為我們安全地過渡到超級智能爭取更多時間。當然，還有其他我沒想到的選項。 但在現實世界中，'宿命論'無法被純粹的邏輯擊敗，因為它就不是作為邏輯產物被創造出來的。在我們的社會中，'宿命論'最常見的用途，是讓人們為自己（出於其他原因，通常是追逐政治權力或金錢）早已決定要做的事情，進行'事後合理化'。理解這一事實本身，往往就是最好的破解之道：當別人最想讓你相信'一切無可挽回'、勸你放棄抵抗時，恰恰是你最有籌碼的時刻。 長期主義(Longtermism) '長期主義'(Longtermism)是一種思維模式，它強調遙遠未來的巨大利害關係。如今，許多人把這個詞和'有效利他主義'(Effective Altruism)的長期主義聯繫在一起，比如80000 Hours（一個有效利他主義相關的職業建議組織）上的這篇介紹： > 如果我們只是討論人類未來可能的人口數量，這個數字是驚人的。簡單假設在未來5億年中的每個世紀都有80億人，10 我們的總人口將達到約4萬萬億……而一旦我們不再局限於地球，值得我們關心的人口潛力將變得真正龐大。 但'訴諸長遠'這個概念本身要古老得多。幾個世紀以來，個人理財規劃師、經濟學家、哲學家、討論種樹最佳時機的人，以及許多其他人，都在呼籲為了未來更大的利益而在今天做出犧牲。 我之所以不願輕易批評'長期主義'，是因為，嗯，長遠未來確實非常重要。我們不會因為有人被駭客騙了錢，就去硬分叉（指對區塊鏈進行一次重大的、不向下兼容的規則變更）一個區塊鏈，因為這樣做雖然有明顯的一次性好處，但會永久損害這條鏈的信譽。正如泰勒·科文(Tyler Cowen)在《固執己見》(Stubborn Attachments)中所論述的，經濟成長如此重要，是因為它是少數幾樣能可靠地在未來無限複利、而不會消失或陷入循環的東西之一。教育你的孩子，回報在十年後。如果你一點'長期主義'都不沾，你永遠不會去修路。當你不重視長遠時，就會遇到問題。我個人一直反對的一個大問題就是'技術債'(technical debt)（指開發人員為了“走捷徑”而做出的妥協，這些妥協在未來會導致額外的工作）：當軟體開發者只關注短期目標，對長期圖景缺乏連貫的看法時，結果就是軟體隨著時間推移變得越來越醜陋和垃圾（參見：我推動以太坊L1 的努力）。 但這裡有個陷阱：『長期主義』論點的『抵制腦洞大開』能力非常低。畢竟，『長期』很遙遠，你可以編造各種美麗的故事，說只要你做了X，未來幾乎什麼好事都可能發生。在現實世界中，當我們觀察市場和政治的行為時，我們一次又一次地看到這種手法的弊端。 在市場上，區分這兩種模式的變數是通行的'利率'。當利率很高時，只有那些能帶來明確近期利潤的項目才值得投資。但當利率很低時，嗯，'低利率環境'這個詞，現在已經成了一個眾所周知的暗號，它描述的就是這樣一種情景：大量的人在創造和追逐那些最終不切實際的'敘事'(narratives)，最終導致泡沫和崩潰。 在政治上，人們普遍抱怨政客為了取悅選民而採取短視行為，把問題藏在地毯下，直到下次選舉後才重新出現。但同樣存在另一種問題，叫做'通往無處之橋'(bridge to nowhere)：一個以'長期價值'為由上馬的基礎設施項目，但這個'價值'從未兌現。 例如拉脫維亞的一座'通往無處之橋'，或者像Dentacoin（直譯為'牙科幣'）——一個'全球牙科行業的區塊鏈解決方案'，其市值一度超過18億美元。 這兩種情況的核心問題都是：思考長遠未來，使你有可能與現實脫節。在一個偏好短期的環境中，你固然忽略了長期，但至少還有一個回饋機制：如果一個提案聲稱有近期好處，那麼在近期，所有人都能看到這些好處是否真的實現。而在一個偏好長期的環境中，一個關於'長期好處'的論點不需要是正確的，它只需要聽起來正確。因此，儘管每個人都聲稱他們在玩的遊戲是'根據長期價值來選擇想法'，但他們實際在玩的遊戲卻是'根據在往往失調且高度對抗的社會環境中誰能勝出來選擇想法'。 如果你能用'模糊但極大的長期正面後果'的故事來為任何事情辯護，那麼一個'模糊但極大的長期正面後果'的故事就什麼也說明不了。 我們如何在不與現實脫節的情況下，獲得長期思考的好處呢？首先，我想說這真的很難。但除此之外，我確實認為有一些基本的經驗法則。最簡單的一條是：你以'長期利益'之名正在做的事情，是否有堅實的歷史記錄證明它確實能帶來那些利益？ 經濟成長就是這樣。不讓物種滅絕也是這樣。試圖建立一個'單一世界政府'就不是——事實上，它和許多其他例子一樣，有著屢戰屢敗並在過程中造成大量傷害的'堅實歷史記錄'。如果你正在考慮的行動，其'長期好處'是投機性的，但其'已知的長期危害'卻是可靠的，那麼…就別做它。這個規則並不總是適用，因為有時我們真的生活在史無前例的時代。但同樣重要的是要記住，'我們真的生活在史無前例的時代'這句話本身，'抵制腦洞大開'的能力就非常低。 以「個人美學」為由禁絕事物的蹩腳藉口 > 我覺得海膽(uni)很噁心。你吃的可是海膽的生殖腺。有時候，在omakase（日式無菜單料理）上，這東西甚至會懟到我臉上來。但即便如此，我仍然反對禁止它，這是原則問題。 我鄙視的一種行為是，有人利用政府的強制力，把終極而言只是『個人審美偏好』的東西，強加給其他數百萬人的個人生活。有美學沒問題。在設計公共環境時考慮美感也很好。但把你的美學強加於他人的個人生活就不行——你強加給別人的成本，遠遠高於你自己的心理收益，而且如果每個人都想這麼幹，那必然會導致文化霸權，或'所有人對所有人的政治戰爭'。 不難發現，政客們因為『呃，我覺得這很噁心』這種爛理由而推動禁令的例子，簡直是板上釘釘。一個'富礦'就是各種反對同性戀的運動。例如聖彼得堡杜馬代表維塔利·米羅諾夫(Vitaly Mironov)： > LGBT（指同性戀、雙性戀及跨性別族群）沒有權利。在我國，他們的權利不包括在具有社會意義的受保護價值清單中。這些所謂的'變態'擁有他們作為我國人民、公民所擁有的一切權利，但他們不包括在某個'擴展的頂級清單'中。我們將把他們從我國的人權問題清單中永遠剔除。 甚至弗拉基米爾·普丁本人，也曾試圖透過抱怨美國有太多的'撒旦主義'來為入侵烏克蘭辯護。一個最近的、略有不同的例子是美國禁止'合成肉'(synthetic meat)的運動： > '培養肉'(Cultured meat)不是肉…它是人造的，真正的肉是上帝親手造的…如果你真想嚐嚐那種'氮基蛋白質糊糊'，去加州吧。 但更多的人會'文明'一步，他們試圖用某種藉口來包裝這種厭惡。一個常見的藉口是'社會道德結構'(the moral fabric of society)、'社會穩定'以及諸如此類的理由。這類論點也常被用來為'審查制度'辯護。 這有什麼問題？我請史考特‧亞歷山大(Scott Alexander)（著名部落格作者，常撰寫關於理性、AI等主題的深度文章）來回答這個問題： > '寬鬆傷害原則'(The Loose Principle of Harm)指的是，政府可以對那些複雜的、間接的傷害，即那些'削弱社會道德結構'的事情感到憤怒……但允許'寬鬆傷害原則'的存在，就等於恢復了所有那些'自由主義'(liberalism)本應阻止的、'試圖控制他人'的古老戰爭。一個人說：『同性婚姻將導致同性戀被更廣泛地接受，從而導致性病率上升！這是傷害！我們必須禁止同性婚姻！ '另一個人說：'允許人們把孩子送到非公立學校，可能會導致孩子在宗教學校裡宣揚反同性戀，導致這些孩子長大後犯下仇恨罪！這是傷害！我們必須禁止非公立學校！ '如此循環，永無止境。 '社會道德結構'確實存在——有些社會在很多方面都比其他社會更道德，這是顯而易見的。但它也模糊不清、沒有明確定義，這使得它非常容易被濫用，幾乎任何東西都可以被說成是'違反了社會道德結構'。這同樣適用於更直接訴諸'厭惡感的智慧'(wisdom of repugnance)的做法，這種做法已經對科學和醫學的進步造成了毀滅性的打擊。這也適用於那些新出現的、'我就是不喜歡所以要禁掉它'的包裝紙，其中一個常見的就是要對抗'全球精英'(global elites)，維護'本土文化'。 再來看看那些反'合成肉'鬥士們的一些言論（記住，這些人不是在解釋為什麼他們自己不吃合成肉，他們是在解釋為什麼他們要強迫其他人也接受他們的選擇）： > '全球精英'想要控制我們的行為，強迫美國人接受'培養皿肉和蟲子'的飲食。 > 佛羅裡達州正在說'不'。我很自豪簽署了SB 1084法案，將'實驗室培育肉'(lab grown meat)擋在佛羅裡達州之外，優先保護我們的農民和牧場主，而不是'精英'和'世界經濟論壇'(World Economic Forum)的議程。 > 有些人可能喜歡和比爾蓋茲一起吃蟲子，但我不喜歡。 這就是我為什麼在很大程度上同情'溫和自由意志主義'(moderate libertarianism)（一種強調個人自由和有限政府的政治哲學）的一個重要原因。我希望生活在這樣一個社會：禁止某事物，需要一個清晰的故事，說明它對'明確的受害者'造成了'明確的傷害或風險'，而且如果這個故事在法庭上被成功挑戰，那麼法律就該被廢除。這大大降低了政府被（利益集團）俘獲，並利用它來將一種文化的偏好強加於他人個人生活，或打一場'所有人對所有人的戰爭'的可能性。 為「劣質金融」辯護 在加密世界（Crypto），你常聽到一些糟糕的論點，勸你把錢投入各種高風險專案。有時，它們聽起來很'聰明'，例如一個項目如何'顛覆'（即參與）一個萬億美元的行業，以及這個特定項目有多麼獨特，做了別人沒做的事。其他時候，就純粹是'因為有名人站台，所以價格會漲'。 我並不反對人們“找樂子”，包括拿自己的一些錢去冒險。我反對的是，人們被鼓勵把一半的淨資產投入到一個'網紅們都說肯定會漲'的代幣上，而最現實的結果是，兩年後這個代幣一文不值。但我更反對的是，有人辯稱這些投機代幣遊戲是'道德上正義的'，因為窮人需要這種快速的10倍收益，才能在現代經濟中獲得公平的機會。就像下面這個說法： > “對於一個淨資產5000美元的人來說，'慢慢來，投資指數基金'是地獄般的建議。他們需要的是階層流動。他們需要承擔高風險、高回報的賭注。加密貨幣（Memecoins）是現代唯一為他們提供這種機會的地方。” 這是一個很爛的論點。反駁它的一種方式是，像對待其他論點一樣，去解構和駁斥'這是一種有意義或有益的“階層流動”'這一說法。 這個論點的核心問題是：賭場是零和遊戲。粗略地說，每有一個人透過這個遊戲提升了一個社會階層，就有另一個人下降了一個社會階層。 但如果你深入研究數學，情況會更糟。在任何標準的福利經濟學教科書中，你最早會學到的概念之一是，一個人對金錢的'效用函數'(utility function)是凹的（原文誤寫為convex(凸)，但從圖和上下文看，作者顯然指的是'凹函數'(concave function)，即'邊際效用遞減）。你越富有，每增加一塊錢帶給你的'效用'（滿足感）就越少。 注意看，你擁有的錢（橫軸）越多，曲線的斜率（每塊錢的價值）就越低。 這個模型有一個重要結論：隨機的拋硬幣（賭博），尤其是大額賭博，對你來說平均是'有害的'。損失10萬美元帶給你的痛苦，比贏得10萬美元帶給你的快樂還要多。如果我們建立一個模型，假設你現在有20萬美元，財富每變動2倍（即增加100%或減少50%）就會讓你上升或下降一個社會階層，那麼如果你贏得一個10萬美元的賭注（財富變為30萬），你大約上升了半個社會階層；但如果你輸掉了賭注（財富變為10萬），你變成了一個財富。 那些由'真正研究人類決策、並試圖改善人們生活'的學者所建立的經濟模型，幾乎總會得出這樣的結論。那麼，什麼樣的經濟模型會得出相反的結論－即'你應該傾盡所有去追求10倍收益'呢？答案是：那些由'目標是為自己炒作的幣找個好聽說法'的人編造的故事。 在這裡，我的目的不是指責那些真正貧窮絕望、正在尋找出路的人。相反，我的目標是指責那些財務狀況良好的人，他們利用'貧窮絕望的人真的需要那個10倍'作為幌子，來合理化他們'製造陷阱誘使窮人陷入更深困境'的行為。 這在很大程度上解釋了為什麼我一直在推動以太坊生態系統專注於'低風險DeFi'（DeFi，Decentralized Finance，去中心化金融）。讓第三世界的人們能夠擺脫本國貨幣的政治性崩潰，並獲得第一世界的（穩定）利率，這是一件了不起的好事，它可以在不把另一些人推下懸崖的情況下，奇蹟般地幫助人們提升社會階層。最近有人問我：為什麼不說'好的DeFi'(good defi)，而要說'低風險DeFi'？畢竟，並非所有高風險DeFi都是壞的，也並非所有低風險DeFi都是好的。我的回答是：如果我們關注'好的DeFi'，那麼任何人都可以輕而易舉地'腦洞大開'，論證任何特定類型的DeFi都是'好的'。但如果你說'低風險DeFi'，這是一個有約束力的分類——你真的很難'腦洞大開'，把一種明顯在讓人們一夜破產的活動，說成是'低風險'的。 我當然不反對高風險DeFi的存在——畢竟，我是'預測市場'(prediction markets)（一種對未來事件的結果進行押注的平台）的粉絲。但一個更健康的生態系統應該是，低風險DeFi是主菜，高風險DeFi是配菜——是某種有趣的、實驗性的東西，而不是讓你押上一半身家性命的玩意兒。 最後一個問題：'預測市場不僅僅是賭博，它們通過改善準確信息的獲取來造福社會'這一觀點，其本身是否也只是一種'腦洞大開'的事後合理化？有些人當然是這麼認為的： > “'預測市場'不過是受過大學教育的男人玩的'占星術'，他們用'認知價值'和'社會效用'這些詞來包裝，以掩蓋他們只是在賭博的事實。” 我來為自己辯護一下。你之所以能判斷這不是'事後合理化'，是因為欣賞預測市場、並試圖將其變為現實的學術傳統，已經存在了三十年，這遠遠早於任何人能靠它（無論是創建項目還是參與其中）賺大錢的可能性。這種'預先存在的學術傳統'，是'Meme幣'(memecoins)甚至像'個人代幣'(personal tokens)這種更邊緣的案例所不具備的。但是，我再說一遍，預測市場不是低風險DeFi，所以它們是配菜，不是讓你押上一半淨資產的東西。 權力最大化(Power maximization) 在AI相關的'有效利他主義'(EA, Effective Altruism)圈子裡，有許多有權有勢的人，如果你去問他們，他們會明確告訴你，他們的策略是盡可能多地積累權力。他們的目標是佔據有利位置，這樣，當某個'關鍵時刻'(pivotal moment)到來時，他們可以帶著火力全開和海量資源登場，並'做正確的事'。 '權力最大化'是終極的'腦洞大開'策略。 '把權力給我，我好去辦X'這個論點，無論X是什麼，都同樣具有說服力。在那個'關鍵時刻'（在AI末世論中，這指的是我們要么實現烏托邦、要么全人類死亡並變成回形針的前一刻）到來之前，你為'利他主義'理由而採取的行動，和你因為'貪婪的自我膨脹'而採取的行動，看起來是完全一樣的。因此，任何試圖實現後者的人，都可以零成本地告訴你，他們正在努力實現前者，並說服你他們是個好人。 從'外部視角'(outside view)（一種認知偏差糾正方法，強調參考相似情況的統計數據，而不是依賴自己的主觀感受）來看，這種論點顯然是瘋狂的：每個人都認為自己比其他人更道德，所以很容易看出，即使每個人都認為自己的權力最大化是淨收益，但實際上它真的不是。但從'內部視角'(inside view)來看，如果你環顧這個世界，看到社交媒體上的仇恨、政治腐敗、入侵、其他AI公司的肆無忌憚，那麼'我才是好人，我應該忽略這個腐敗的外部世界，自己去解決問題'的想法，當然感覺很有吸引力。而這，恰恰就是為什麼採取'外部視角'是健康的。 或者，你可以採取一個不同的、更謙遜的'內部視角'。這裡有一個來自'有效利他主義'論壇的有趣論點： > 可以說，投資的最大優勢在於它可以指數級地增長金融資源，這些資源可以在以後用於行善。自1926年成立以來，標普500指數(S&P 500)經通膨調整後的年化報酬率約為7% … '價值觀漂移'(value drift)的風險更難估計，但這是一個重要因素。例如，有來源共同表明，有效利他主義社區內個人的年均'價值觀漂移率'約為10%。 也就是說，雖然你的財富每年確實增長7%，但經驗數據也表明，如果你今天相信某項事業，明天你對其的信念可能會減少約10%。這與坦納·格里爾(Tanner Greer)的一個觀察相吻合：公共知識分子往往有大約10-15年的'保質期'(shelf life)，過了這個期限，他們的思想就不再比周圍的背景噪音更好了（至於我從2011年開始公開發表寫作這一事實有何意義，我留給讀者自己判斷）。 因此，如果你為了『以後再行動』而累積財富，你未來的自己很可能會用那些多出來的財富，去做一些你現在的自己甚至都不支持的事情。 「我在內部能做得更多」主義 在AI安全領域，一個反覆出現的問題是'權力最大化'和'宿命論'的混合體：人們認為，推進AI安全事業的最佳方式，是加入那些正在讓超級智能AI更快實現的公司，並試圖'從內部'改善它們。在這裡，你常常會得到這樣的合理化解釋，比如說： > “我對OpenAI非常失望。他們需要更多像我這樣的安全意識的員工。我宣布我將加入他們，從內部推動變革。” 從'內部視角'看，這似乎合情合理。然而，從'外部視角'看，你基本上就成了這樣： > 角色A：“這個地方糟透了。” > 角色B：“那你為什麼還不離開？” > 角色A：“我得留下來，確保它變得更糟。” 這個流派的另一個好例子是現代俄羅斯的政治體制。在這裡，我只想引用《金融時報》的這篇文章： > 2月24日，普丁承認頓巴斯分離主義者三天后，對烏克蘭發動了全面進攻，這超出了他們最壞的預期。他們和世界其他地方的人一樣：透過電視才發現了普丁的真實意圖。普丁未能聽取技術官僚的警告，這讓他們備受打擊。一位在戰爭初期見過格里夫(Gref)（俄羅斯聯邦儲蓄銀行CEO）的前高階主管說：『我從未見過他那樣。他完全垮了，處於徹底的震驚之中。 '……'每個人都認為這是一場災難，他比任何人都更這麼認為。 ' …… ……在俄羅斯政治精英的狹小圈子裡，像格里夫和納比烏琳娜（俄羅斯央行行長）這樣的'技術官僚'(technocrats)，曾被認為是現代化者，是製衡普京身邊'希拉維克'(siloviki)（即強硬派安全機構的資深人士）的改革派力量。 然而，當面臨一個捍衛他們對開放市場的信念、並公開反對戰爭的歷史性機會時，他們卻退縮了。據前官員稱，這些技術官僚非但沒有與普丁決裂，反而鞏固了自己作為'賦能者'(enablers)（縱容者、協助者）的角色，利用他們的專業知識和工具，來減輕西方制裁的打擊，維持俄羅斯的戰時經濟。 同樣，問題在於'我在內部能做得更多'這句話，'抵制腦洞大開'的能力非常低。無論你實際上在內部做了什麼，說一句'我在內部能做得更多'總是很容易的。所以你最後只是成了機器上的一個齒輪，和你旁邊的那些齒輪——那些為了讓家人住在豪宅、每天吃昂貴晚餐而工作的人——起著同樣的作用，只是你的理由聽起來好聽一點。 那麼，你該如何避免「腦洞大開」呢？ 你可以做很多不同的事情，但我將集中討論兩件： 堅守原則 為你'不願做'的事情劃下硬紅線——不殺害無辜的人，不偷竊，不欺詐，尊重他人的個人自由——並且為任何例外情況設置一個非常高的門檻。 哲學家通常稱之為'道義論倫理'(deontological ethics)（注重義務和規則，而非結果）。 '道義論'讓很多人感到困惑——很自然地，如果你的規則背後有某種根本原因，你難道不應該直接去追求那個根本原因嗎？如果'不偷竊'是一條規則，因為偷竊通常給受害者帶來的傷害大於給你帶來的好處，那麼你就應該遵循'不做弊大於利的事情'這條規則。如果有時候偷竊'利大於弊'－那就去偷！ 這種『後果主義』(consequentialist)（只看結果，不看過程）方法的問題在於，它完全沒有『抵制腦洞大開』的能力。我們的大腦非常擅長編造理由，論證'在這個特定情況下，你（出於其他原因）早就想做的事情，恰好也對全人類大有裨益'。而'道義論'會說：不，你不能這麼幹。 '道義論'的一種形式是'規則功利主義'(rule utilitarianism)：根據'什麼能帶來最大利益'來選擇規則，但當需要選擇具體行動時，只需遵循你已經選定的規則。 “拿住”正確的“包袱” 上述的另一個共同主題是，你的行為往往由你的'激勵機制'(incentives)決定——用加密圈的行話來說，就是你「拿住了」什麼「包袱」（bags）（指你持有了哪些資產或立場，這些東西會反過來影響你的看法和行為）。這種壓力是很難抗拒的。避免這種情況最簡單的方法，就是不要給自己設定壞的激勵。 另一個推論是，要避免『拿住』錯誤的『社交包袱』：即你所依附的『朋友圈』。你不能試著沒有『社交包袱』——這樣做違背我們最基本的人類本能。但至少，你可以讓它們多元化。要做到這一點，最簡單的一步就是：明智地選擇你的'物理位置'。 這讓我想起了我對我個人對'如何為AI安全做貢獻'這個已經氾濫的類型，貢獻一點我自己的建議： - 不要為一家正在讓'前沿全自主AI'能力進展更快的公司工作 - 不要住在舊金山灣區