一位 익명 연구원의 46가지 독설: AI가 모든 것을 뒤엎을 것이다, 핵 억지력과 인간의 지배까지도
- 핵심 견해: AI의 지능 생산은 여전히 4~10차수의 성장 여지가 있을 수 있으며, 알고리즘의 진보는 예상을 훨씬 뛰어넘는 기술 도약을 촉발하고, 단기간 내에 사회, 경제 및 권력 구조를 재편하여 영구적인 계급 분화와 국가 안보 구도의 근본적인 변화를 초래할 수 있다.
- 핵심 요소:
- 알고리즘의 진보는 '큰 도약'을 가져올 것이며, 지능 생산에는 아직 4~10차수의 향상 여지가 존재할 수 있고, 기존의 인식은 그 변화 속도와 깊이를 과소평가하고 있다.
- AI의 자기 개선이 이륙 단계에 접어들었으며, 알고리즘 연구가 가속화되고, '오류 수정 탈출 속도'가 존재하여, 장기 작업 에이전트의 성능은 오류 누적의 병목 현상을 극복할 것이다.
- 로봇 분야는 ChatGPT와 같은 순간을 겪겠지만, 전 세계 물리적 로봇의 대량 보급(연간 1억 대)은 2030년대가 되어야 가능할 수 있다.
- 자동화는 심각한 디플레이션을 초래할 것이며, 대부분의 상품은 한계 비용이 거의 0에 가까워지지만, '영구 하층 계급'을 낳을 수 있으며, 그 핵심은 소득 부족보다는 자유로운 활동의 제약에 있다.
- 상호확증파괴(MAD)는 AI와 자동화된 군수 공급망 앞에서 무력화될 수 있으며, 군대, 경찰 등 정부의 법 집행 메커니즘은 자동화되고, 더욱 지능화될 것이다.
- AI 연구소는 특히 결정적인 폭력 도구를 장악한 이후, 국가 권력과 민간 기업의 통제 사이의 위험한 긴장을 조정하기 위해 국유화 압력에 직면할 수 있다.
- 기술 트리에는 진정한 위험(예: 제로데이 취약점과 취약한 세계 가설)이 잠재되어 있으며, 미래의 권력 축적과 조정 실패는 폭정이나 재앙으로 이어질 수 있다.
原文作者： bayeslord
原文编译：深潮 TechFlow
导读： bayeslord（@bayeslord）是 AI × 加密圈里一个匿名但有分量的账号，不带货、不追热点，专门沿着 scaling law、算法深度这些技术内核往下硬推。
该博主最近写了一个 46 条清单，对科技、AI 和相关技术的未来发展做出了推演，认为所有人都在用过去的效率曲线理解 AI，而真正的大跳跃还没来，智能生产可能还剩四到十个数量级没走完。
他从算法加速一路谈到机器人、资本、永久底层阶级，最后落到最尖锐的地方：相互确保摧毁（MAD）可能失效，军警会被自动化，AI 实验室或被国有化。
原贴已近 100 万浏览。观点虽然极端，但每条相对自恰，值得泛科技读者一看。
这份清单基于我 6 月 4 日发的一条推文串，做了些修改和补充。好几个人说原来那条太难读了，所以整理成这个版本。
智能
1. 算法进步会让所有人措手不及。整个世界——市场、政府、军队、公司、个人——都在用最近这些年的生产效率和规律去理解 AI 的影响，去判断事情大概会怎么走。连那些号称信了「递归自我改进」的新实验室，都觉得这不过是老一套加个智能体在循环里跑。不是这样。我猜智能生产这件事上，还剩很多个数量级没走完，也许多达十个，四到七个的可能性更大。原则上超过十个也不是不行，但那会狠狠撞上我怀疑物理定律真正允许的上限。不太可能，但没被排除。如果这判断成立，那事情的真实走向和它表面看起来的走向就不是一回事，一次大跳跃正在逼近。任何沿着这个方向发生的事，都会让世界变得比几乎所有人定价的都要诡异得多。
2. 我们正处在起飞早期。AI 改进 AI，最后可能成为历史上后果最重的一步。这件事没法打包票，因为我们不知道自己离智能的物理极限和计算极限还有多远，不过我押注还很远（前面说了，每单位算力再榨出 4 到 10 个数量级的智能输出，看起来是可能的）。
3. 既然进了起飞阶段，算法研究就在加速。算力还是稀缺资源，但研究员时间的机会成本降下来了，因为你可以直接派个智能体去跑任何任务，哪怕是瞎折腾。它可能就带回点东西来。所有新想法都背着一笔「优化债」，现在这笔债可以用无人监督的 token 消耗来还。海量的研究 scaling law 曲线会被一条条走完。
4. AI 模型会持续变强，前沿模型尤其如此。唯一真正的墙是物理。模型越来越自主、越来越聪明，而且一直在变好。数学和代码正在被规模加强化学习攻下，剩下的都排在后面。「可验证」和「不可验证」这个区分作为有意义的界限会慢慢消失。往前走，自动化 AI 研究和 AI 学习会越来越像同一回事。把模型训练好，本质上和模型自己学得好是紧密相关的。样本效率、创造力、以及其他所有限制都会被解决，然后在任意规模上逼近算法最优。
5. 长任务智能体必须要有同等长度的训练数据，这个想法是错的，因为泛化在时间维度上是存在的。长任务不是由「长」这个属性堆出来的。这跟 LeCun 那个 （1-e）^n 误差累积的谬误有关。真正发生的是纠错。纠错在多个尺度上同时进行，从单个 token 生成的层面，一直到长任务里的每一步。METR 那张图之所以往上走，一部分原因是智能体开始触及纠错的逃逸速度。
6. 一门工程级别的深度学习科学马上就要出现了。它会把我们推向 AI 的算法成熟期，速度比大多数人预期的快得多——虽然前面提过，这条路原则上能走多远还不清楚。举个例子，一门研究尺度不变性的科学，会大幅提升有用实验的规模和回报，因为一块 GPU 上的实验能告诉你怎么用十万块。
7. 技术人类活动的每一个领域，都会有属于自己的「第 37 手」时刻（AlphaGo 对李世石时下出的那手超越人类直觉的棋），然后很快，「第 37 手」本身会显得过时。我说的是所有领域。
8. 算力会持续变好。今天最好的矩阵乘法机器，离 AI 加速器的物理极限还差得远。数字硅这条路还有很大提升空间。新的衬底也有很多候选，它们欠下的算法债会被自动化榨到极限，但我们还不知道对 AI 来说，在空间、能耗、时间、可制造性、成本上最优的那个是什么。光子学和随机硅都是有意思的候选，但我也预期奇点本身会让人意外。
9. 实验室能领先多远，一部分取决于自动化和规模的回报，这里面包括更深算法深度带来的回报。如果深度学习的实践（和理论）永远是浅的，那长期来看护城河大概不会主要是算法层面的，因为秘密相对容易被发现。最终，蒸馏加数据加时间可以追上算力规模，可能会慢一点。目前看我们部分处在这个状态，但就算真是这样，也没人保证它会一直这么走。
10. 如果随着规模扩大，深度学习变得不那么浅，那每一分自动化和规模的增量，都会给你换来别人越来越够不着的算法秘密。这个状态我们目前看起来也部分符合。两种情况的终点都是边际效用回报随规模和研究饱和的时候。我们不知道那个点在哪。可能离今天 2 个数量级，也可能 20 个。没人知道。
智能供应链
11. 至少未来几年，算力都会是被激烈争夺的资源。但在这段时间里它会开始商品化，我们会回头嘲笑 2020 年代的寒酸。规模在扩大而且奏效，资本跟着进来，一遍遍地转动飞轮。更多矩阵乘法机器、更多晶圆厂、更多能源正在路上。智能生产的瓶颈是暂时的。潜在的经济减速带不算在内。
12. 智能供应链的性质正在变。现在它高度集中在实验室手里。但实验室正在自动化那个让它们变强的核心东西——研究员，以及算法优势的发现。一旦这个过程开始，假设开源跟得不太远，尤其如果实验室不把 AI 研究员模型锁死，那实验室的优势就会转向更容易的融资、更多算力、独家数据、商业关系和好产品。这确实取决于前面说的算法深度那个问题怎么收场，以及其他一些因素。
13. 分布式训练会降低对单体数据中心大规模建设的需求，给非超大规模厂商一些优势。不过在单次最大规模训练这个纯粹的维度上，它不会超过超大规模厂商。
14. 自动化 AI 实验会让算法秘密被广泛发现，因为这些秘密天然比全尺寸训练更容易分发。这条路能走多远不清楚，但我预期相当远。前面说了，深度学习的根本深度仍然未知，这条判断的上界就取决于那个未知。
15. 尽管这些力量表面上对学术界和开源有利，它们仍可能因为算力的成本和机会成本而萎缩。比如说，GB300 是拿去服务 GLM5.2 或 Fable 更值钱，还是在某个学术实验室里做非前沿研究、或者在 Anthropic 内部造 Mythos 2 更值钱？市场会算出需求最大的地方在哪，而现在看，那地方确实是实验室。这意味着开源实验室可能会更加算力饥渴，就算它们有钱也一样，前提是它们还没提前锁定算力产能。就算锁定了，它们也还得盘算自己做研究相比出租算力的机会成本。参考 Colossus 和 Anthropic 那笔合作。
16. 在 AI 能力开始变刺激的环境里（未来 0 到 18 个月），开源在社会层面也可能开始难做，尤其如果我们加速安全的速度很慢——到目前为止确实很慢。
17. 资本涌向实验室的时候，开源可能开始萎缩。这里有个协调问题：除了实验室（也许还有政府），没人想要一个 token 垄断者，但如果这个问题能解决、监管环境又友好，也许结果还行。
机器人
18. 机器人会有一个类似 2022 年 11 月 ChatGPT 那样的时刻，然后再有一个类似 2025 年 11 月 Opus 4.5 那样的时刻。两个都还没发生，但它们要来了，而且会比人们想的快，这是快速 AI 进步的结果，包括 AI 加速的物理系统工程。机器人这两个时刻之间的间隔，看起来不太会是三年。
19. 不过要在物理上把全世界机器人的数量真正堆上去，可能得等到 2030 年甚至更晚。虽然我们一年造大约 1 亿辆车，而人形机器人比车小得多。考虑到我们一年还造 10 亿部智能手机，如果资本和算法跑得够快，2030 年做到每年 1 亿台机器人这个量级是合理的。每年 1000 万台肯定能做到，无人机市场我们已经在做了。只要软件能在小规模上证明人形机器人值这个钱，就能撬动无限资本，撬动的量和证明的质量成正比。
20. 今天看起来像机器人硬性上限的东西会消失，包括样本效率差、数据相对稀缺、手和电机的硬件设计又贵又难、物理世界的分形复杂度，还有那些关于我们怎么在世界里干活的、没被记录下来的隐性知识（比如水管工那套）。世界模型看起来有用，但具体是哪个东西不重要。研究 scaling law 会被一路磨到效用递减为止。
21. 全球对机器人的需求轻松就是几百亿台，尤其如果把各种形态加起来。有太多值得自动化的体力活了。市场会想办法解决这件事，而人们大概不会挡路。
进步
22. 科学正在自动化、虚拟化。这意味着这世界需要的很多进步，会从自动化实验室和模拟里来。我们不知道虚拟化的完整计算极限，但生物、材料科学等领域这种机器人驱动的实验室，会拆掉大量瓶颈，一路上还会推高「已验证虚拟化」的边界，来提升样本效率和「落地成真」的净回报。基本上在每个领域，我们都会有神经模型、显式模拟、真实世界实验的某种组合，一起提升生物、材料科学这类领域里每一块钱、每一份时间的回报。
23. 进步定律到处都是。在深度学习里它们叫 scaling law。任何一条曲线上，S 型曲线什么时候饱和很难判断，地平线那头有没有新的 S 型曲线也很难判断。这里要理解的是，文明进步这台引擎本身也有一条进步定律。我们的进步很可能是饱和型的，跟大多数自然过程一样，但我们其实不知道饱和发生在哪。技术和文明的成熟期可能很近，也可能很远。我们正处在这样一个历史节点：一是我们几乎还没往进步上投什么资源，但这一点正在飞快改变；二是我们正在自动化那台直接产出更多进步的机器。我们身处一个有意思的时代。
24. 规模向上还是规模向外的未来。从零到一还是从一到 n。宇宙允许我们在广度和深度上取得多少进步，是个开放问题。广度好估一些，因为它大致就是「从现在起，物理定律还允许我们做多少步计算？」. 而那个计算能有多「深」——在这个词最泛的意义上——是未知的。有些版本的未来里，科技树深到不可思议，可触及的计算宇宙富饶到我们会一直发明、一直发现，直到物理挡住我们，如果它挡得住的话。另一些版本更平：我们很快就把一棵较浅的科技树点满，相对轻松地抵达技术成熟期，然后把它规模化铺开，直到心满意足或物理挡路。
资本与生产
25. 更多资本加更多智能，意味着一个更强化的资本主义，意味着我们更快地冲向市场均衡。长期看这自然应该导致通缩，导致大多数重要商品竞争到接近零边际成本，包括 AI、食物、住房、医药、电子产品、娱乐和旅行。前提是我们不让人挡路。有些情况下他们大概会挡。
26. 采矿会被自动化。海陆空运输会被自动化。工厂会被自动化。工人会被自动化。配送中心会被自动化。整条供应链的维护、改进和扩张都会被自动化。
27. 会有人类保有工作，保有很长很长时间。这部分人占人类的比例是多少，是个开放问题。说这个数会很高的人过于自信，说这个数会是零的人同样如此。不过确实很难想象，在知识工作里那个「知识」的部分，人类还能在边际上贡献多久。有些需求，比如医生，可能会大幅下降——如果我们有 20 美元一个月的超人 AI 医生，加上按需检测，加上医疗技术进步带来的健康大幅改善。但因为我们现在把医生卡特尔化了，我们可能会继续这么干，当医生仍会是个好职业。娱乐的需求大概会上升，但生产成本会下降，娱乐对人类的技术性需求本就已经大幅减少。不过我们很在乎其他人类，所以也许我们会继续在乎他们，当演员会变得更赚钱。有一种思路能帮你想清楚这事怎么演变：从今天的一个劳动者到消费者之间，供应链里隔着多少中间层。对一个 TikTok 网红来说，零层。对一个医生来说，零层。对一个工厂工人来说，很多层。一份工作能不能被去中介化、能不能被竞争淘汰、可不可替代，大概会很大程度决定它的结局。这套分析相当微妙，这一段远远说不透，但最后要提一句：这一切的前提是我们没遇上需求端的断崖式崩塌——如果太多人不工作，而生产率或政府效率又撑不起全民基本收入或全民基本医疗，那种崩塌就可能发生。
28. 跟上面几点相关但不矛盾：「永久底层阶级」可能真会存在。在它成真的那些较好的世界里，它看起来更像是能动性被高度限制，而不是收入被害惨。对大多数人来说这最终是能接受的，我们的能动性早就被现代社会高度限制了，但它需要心理上的适应，这可能要花时间，也可能很痛苦。
文化与心理
29. 人类心智现在成长和适应得很慢，但这会变。关键在于往好的方向变，对有些人来说这不容易。丰裕的智能和自动化会让我们工程出远比今天更持久的心理结构——今天这套是不适配我们环境的进化遗留物。精神病学和心理学会在不超过几十年里，走完一千年的创新。人类会从根本上变好。粗糙、堕落的「爽感直连」被高估成了风险，因为我们会有更精巧、更多样的心智工程可用。
30. 在一个极度不确定的世界里，人们会比以往任何时候都更凶狠地争夺权力、地位、财富，过程中会心安理得地背叛同类。他们会发明各种理由说明自己的行为是好的，甚至是伟大的。看看四周。
31. 你会活着看到你无法相信的尴尬。
32. 现在有一种明显的双重话语在上演：那些即将、或已经是最富的 0.01% 的人，一边说 AI 会造福所有人、别担心工作，一边又不肯放弃自己的财富，去当一个地球上、哪怕是美国的随机一员，无论期限是一年、五年还是二十年。人们看得见这一点，已经开始反应。说清楚，我也不会放弃我的位置，但我也没说一切都会完美（我也不是最富的 0.01%）。结果就是，我们有建成一个不公世界的风险。有些人在乎这个，我觉得这事应该被更频繁地讨论。而且说得再直白点，美国政治在处理这类问题上的方式烂透了。
33. Elon 看起来很可能成为第一个千万亿富翁。宽泛地说，不难想象芯片、机器人、飞船的需求还会涨到现在的一千倍以上，而这里面很大一块他大概能吃下。
协调
34. 社会各个尺度都需要更好的协调，这一点很明显。以我们现在对协调的理解，它有弱点也有风险，但很可能我们连它的表面都还没刮到。会不会有一个 Satoshi 级别的人物，来干掉 Moloch（象征所有人被迫参与、谁都无法退出的恶性竞争）？
35. 在 AI 上搞一些国际协调，大概是个好主意。我们也许会想要条约和 GPU 计数。这套东西可以设计成：一是拖慢军事和政府权力那种螺旋上升的对抗性积累，二是对科学和其他重要进步领域的影响降到最低。我们可能得不到这个，因为 GPU 太普遍地强大了。核武器上我们做到了，是因为除了疯子没人真的想用核弹。
36. 一次 AI 实验室协调的暂停或减速，现在看起来比 2023 年更有可能。这里权衡很多，但我觉得暂停的可争辩价值，今天比 2023 年略高了一点。「暂停会被浪费掉」这个论点更难成立了，因为我们有了自动化研究——虽然还没完全有（我们有的是自动化工程）。说句实在的，我个人现在并不支持暂停，主要是因为它会打断穿越奇点那根钢丝上太多别的部分，科技树里可能藏着龙，而对手是真实存在的。
权力、暴力、安全、自由
37. 我很遗憾地告诉你，我们的宇宙可能在 Bostrom 意义上是脆弱的（哲学家 Bostrom 的「脆弱世界假说」：技术进步可能掏出某种一旦被发现就足以毁灭文明的能力）。有可能当前世界存在一些自由度，我们没法在保住治理和自由那套规范（这套规范对我们世界的真相是充分的、除了全景监狱之外）的同时，快速协调把它们控制住。注意在这样的世界里，权力积累是个滑坡。这类世界很多最后对大多数人来说都很糟。要是这不是真的就好了，但它可能是真的。
38. AI 扩散会以某个大于零的速度发生，不管有多少潜在的限速因素。世界上有太多计算机，而 FLOP 换智能的汇率处在有史以来最低点。别赌事情会陷入停滞。
39.「永久底层阶级」这个概念，隐含着「永久上层阶级」的存在。这预设了一群人因为某种相对没有正当性的理由，拥有更多权利。这个理由归根到底永远是暗含的或已兑现的、由暴力支撑的支配。但也许一个有先进 AI 的世界，是一个人类不再有正当理由去统治的世界，没有任何公认的、超越其他人类的能力或地位。这永远不会 100% 成真，但它可能会变得越来越重要，值得去想。我怀疑在实践中，道德层面的论证和实用层面的论证会分岔得相当厉害，也许这样反倒是对的。
40. 各种方向的力量都会逼着机构转型，而这些力量可能通向暴政。通往那里的路有很多，有些打着安全的旗号，有些是良性的权力蔓延——天花板是强大 AI 加全自动军事供应链加全自动武器。我们需要更好的机构。
41. 外面可能有大量零日漏洞。在网络、生物、基础设施、神经、模因、物理等领域。我们根本不理解算法深度和一致性在这些领域里的回报，无论是防御和鲁棒性那一侧，还是破坏那一侧。核武器的算法深度，对世界上最聪明的人类来说并非够不着。明天我们的机器会够到下一级，再下一级。现在我们对算法上很浅的那种随机灾难率知道一点，而对一个算法上很深的文明里会发生什么，几乎一无所知。
42. 相关的一句：科技树里可能有些真的很操蛋的东西。我们真的不知道。
43. 规模化的机器人能力，带来了超越纯计算机模型的、真实的接管和政变式风险，也带来更平常的东西，比如网络攻击的新表面和新向量。我们应该认真对待这些风险，努力去降低它们。
44. 相互确保摧毁建立在 20 世纪和 21 世纪初的技术之上。我们将经历急剧的技术变革，可能是一千年份量的变革压缩在很短的时间里。这意味着 MAD 不是理所当然的。这个问题是可解的，但既不是完全确定、也不是干净利落的颠覆，因为要拿到决定性优势，容错率极低，可能根本不可行。过去有些人用相当不严肃的方式提过这个话题，我觉得那是错的，也是不负责任的。这是我们能讨论的最严肃的话题之一。人们对它感到紧张是对的，但我觉得是时候谈了。
45. 军队、警察、以及政府执法的主要机制，都会被自动化，并且比人类更聪明。你自己看着办怎么理解。
46. 最后：AI 实验室最终可能会被强意义上的国有化。在我看来，美国的体制其实不太兼容这个，但通往国有化的路有很多条，在保守或自由的政治环境里，看起来都不算被禁区挡死。原则上，实验室似乎可以在后端和军方、情报部门保持协调，而不用比现在已经摆出的姿态更张扬。联邦政府拥有我们说的这种单边权力，也极其危险。私营公司拥有这种权力是另一回事，因为它们通常不会直接实施暴力，法律上也不被允许。我不太待见国有化，但这个世界令人困惑，而且看起来正变得越来越凶险。
