The first encyclical of Rome's new Pope aims to save the common people in the age of AI
- Core Viewpoint: Pope Leo XIV has issued the encyclical "Magnificent Humanity," which is over 40,000 words long, focusing on how to protect human status and dignity in the age of AI. Anthropic co-founder Chris Olah responded to this issue, acknowledging that the AI industry requires external moral scrutiny, and revealed the emergence of puzzling "quasi-subjectivity" phenomena within AI, marking a convergence of technology and religion on the question of human nature.
- Key Elements:
- The encyclical "Magnificent Humanity," published in May 2026, is centrally concerned with preserving "profound humanity" in an era of technological automation. It warns that technology is not neutral and could lead to a "Tower of Babel"-style technocratic tyranny and alienation.
- The Pope criticizes the "culture of power" dominated by big tech giants, which concentrates control of digital infrastructure in the hands of a few entities, escaping democratic oversight. The misuse of AI in the military is accused of normalizing war, rendering the "Just War Theory" obsolete.
- The encyclical focuses on "new forms of slavery" in the digital economy, warning that AI could massively replace the labor force and that humans cannot be reduced to mere production tools. Deepfakes and information manipulation are eroding the foundation of social trust and undermining rational thought.
- Chris Olah acknowledges that all frontier AI labs are constrained by commercial and geopolitical pressures and cannot ensure safety through self-regulation alone. External moral checks, including from religion and civil society, acting as "critics," must be introduced.
- Olah reveals the "mysterious characteristics" emerging within AI models. He has discovered internal structures analogous to those found in human neuroscience research, evidence of introspection, and internal states mirroring emotions like joy, fear, and sadness, which may surpass the understanding of their creators.
- Olah emphasizes that how AI interacts with the world is an ultimate question belonging to the humanities, religion, and philosophy, which computer science alone cannot solve. He calls on social forces to guide technology towards good through moral constraints.
- This dialogue symbolizes the renewed convergence of science and religion. As AI exhibits "quasi-subjectivity," humanity must safeguard the non-parameterizable essence of human nature, such as compassion, conscience, awe, and free will.
原創 | Odaily 星球日報(@OdailyChina)
作者|Azuma(@azuma_eth)
北京時間 5 月 25 日晚間,梵蒂岡。
去年 5 月正式履職的羅馬教宗利奧十四世(Pope Leo XIV)與 Anthropic 聯合創辦人、Claude 的締造者 Chris Olah 站在一起。
一邊是宗教領域的至高代表,一邊則是 AI 革命的最強先驅,雙方將目光聚焦向同一個問題 —— AI 時代下,該如何保護人類的主體地位與尊嚴?
當日,為完整論述這一議題,利奧十四世發布了其履職以來的第一份通諭,一份超過 4 萬字的重磅宗教文獻 ——《壯麗的人類》(Magnifica humanitas)。
值得一提的是,利奧十四世這份通諭的落款日期為 2026 年 5 月 15 日,即老教宗利奧十三世(1878 - 1903 年任職)就「工業革命下的工人權益」問題發表里程碑通諭《新事》(Rerum novarum,1891年)的整整 135 週年後,此舉顯然有著一定的象徵意義,即希望將該通諭打造成為「AI 時代的教會社會學說指南」。
- Odaily註:教宗通諭又稱教廷通牒或教宗通諭,是羅馬教宗向全世界或某一地區、國家的天主教會發出的文告。透過它宣布教廷的重要決定、對教義的解釋以及對教會或社會問題的主張,頒布對教士、教徒的訓諭或禁令等,級別低於教宗詔書。
Chris Olah 亦在梵蒂岡現場就該通諭的發布進行了演講。Chris Olah 並未為 AI 公司的商業利益辯護,反而展現出了極高的坦誠度、反思性與人文關懷。他甚至提到,雖然 AI 的底層是數學和程式設計,但 AI 與世界如何互動、應具備何種特質,是屬於人文、宗教和哲學領域的終極問題,而非計算機科學能單獨解決的。
通諭速讀
《壯麗的人類》通諭的核心關切是,在技術日新月異、自動化大行其道的時代,「保持深刻的人性」是人類迫在眉睫的責任。具體而言,教宗利奧十四世在文中就以下幾個方面展開了論述與呼籲。
一是審視技術的非中立性。教宗指出,技術從來都不是中立的,它帶有研發者、資助者、監管者和使用者的利益與價值觀烙印。人類正面臨著決定性的選擇:「是去建造傲慢的『巴別塔』(走向技術專制與異化),還是重建『耶路撒冷』(打造以人為本的共同體)」。
二是警惕「技術官僚邏輯」對社會的重塑。通諭批判了由矽谷等大型科技巨頭主導的「權力文化」(Culture of Power)。教宗警告稱,當數位系統、基礎設施和海量資料的控制權高度集中在少數經濟和技術巨頭手中時,這些權力就會變得部透明並逃脫民主監督。
三是數位經濟中的「新形式奴役」與勞工權益。通諭將關注點投向 AI 對工作、家庭、教育和政治生活的重塑。教宗指出,AI 有很大可能會大規模取代人類勞動力,而數位經濟正在催生出「新形式的奴役」(New forms of slavery),人類絕不能僅僅被貶低為生產工具。
四是強烈的和平呼籲,尤其是 AI 在軍事領域的濫用。通諭對「戰爭作為國際政治工具的令人不安的復甦」表示深切擔憂。AI 的軍事化正在加速戰爭的「常態化」,對此,教宗呼籲必須對 AI 在戰爭中的應用實施最嚴格的倫理約束。
教宗著重提到,「正義戰爭」(Just war)理論此前經常被用來為各類戰爭辯護,如今它已經過時了。在 AI 與自動化武器的時代,將致命性或不可逆的決定權託付給自動化系統,會導致人類放棄、轉移和模糊道德責任。由於演算法的非透明性,戰爭中的責任鏈條被切斷。因此,教宗提出了「解除 AI 武裝」(Disarming AI)的口號,呼籲將其從軍事、經濟和認知的「軍備競賽」邏輯中解放出來。
五是對真理與政治生態的捍衛。通諭指出,深度偽造(Deepfakes)和資訊操縱正在削弱社會的互信基礎。如果真理與虛假的界線被不斷操縱,公眾便容易陷入恐懼、政治宣傳和控制之中,社會將無法共同理性思考或進行公正的論辯。
Anthropic 的回應
在利奧十四世的通諭發布之後,Chris Olah 代表世界最強的 AI 開發公司 Anthropic 進行了演講評論。
Chris Olah 的發言首先圍繞著「打破技術內捲,引入外部道德審視」展開。他代表 AI 業界公開承認,僅靠科技巨頭自身無法確保 AI 的未來是安全的 —— 所有前沿 AI 實驗室都受制於商業競爭、技術領先壓力、地緣政治以及個人名利的裹挾,這使其很難單靠自律去「做正確的事」。因此,有必要引入外部的道德約束力量,包括那些關心技術向善、堅持安全至上、密切關注事態發展、願意說出逆耳忠言,並願意成為我們真誠、深思熟慮的批判者的人。
隨後,Chris Olah 又探討了 AI 的技術本質與神秘特性。他強調到,AI 不是像飛機或橋樑那樣由人類完全知曉其物理原理的精密工程,它是在海量人類思想中「生長」出來的,具有高度的神秘性,甚至超出了創造者本人的理解。雖然 AI 的底層是數學和程式設計,但 AI 與世界如何互動、應具備何種特質,是屬於人文、宗教和哲學領域的終極問題,而非計算機科學能單獨解決的。
他還特別提到了一個細思極恐的事實:「我領導著一個研究模型內部結構的團隊 —— 去研究它 AI 內部究竟在發生什麼。坦率地說,我們不斷地在發現一些令人困惑、甚至令人不安的現象。我們發現了能夠鏡像人類神經科學研究結果的內部結構;我們發現了『內省(introspection)』的證據;我們還發現了在功能上鏡像了喜悅、滿足、恐懼、悲傷和不安的內部狀態……我不知道這意味著什麼,但我認為這值得我們持續地去辨識和審視。」
Chris Olah 最後呼籲,希望更多的社會力量,包括宗教社群、公民社會、學者、政府,以及所有所有心懷善意的人,共同嚴肅對待這件事,透過道德約束把事態推向更好的方向。
智慧與人性,科技與宗教
自工業革命以來,上百年的技術發展史讓人類逐漸習慣了將技術視作一種純粹「工具」 —— 蒸汽機、電力、互聯網,皆是如此。它們會改變世界,但始終處於人類意志的掌控之下。
但這一次,情況卻截然不同。AI 的特殊之處在於,它第一次讓人類開始面對一種「會生成、會學習、會推演,甚至會呈現某種內在狀態」的存在。它不再只是冰冷的工具,而正在逐漸成為一種擁有「類主體性」的新事物。
這也是為什麼,教會與 Anthropic 的這場對話會顯得如此特殊。當梵蒂岡的鐘聲與矽谷的演算法在這一刻交匯,我們不得不承認一個略顯冰冷卻無法迴避的現實 —— 一種比人類傳統認知更高效、更具智慧的「生命」形式已經出現。正如 Chris Olah 所透露的,演算法深處已經開始泛起類似喜悅、恐懼甚至內省的微瀾,當實驗室裡的造物者開始對自己的作品感到「不安」與「迷茫」時,科學也在重新向宗教尋求答案。
這早已不是單純關於技術的討論,而更像是一場關於「人類究竟是什麼,該做什麼」的思考。當更智慧的生命形式開始出現之後,人類真正需要守護的,或許已不再只是工作、財富與效率,而是那些無法被參數化的人性本身,比如同情、良知、敬畏、自由意志,以及對真理與尊嚴的堅持。


