IOSG：AI的十字路口，为什么华尔街们正在向ChatGPT与Claude们说「不」？

原文作者：Jeff，IOSG Ventures

为什么需要私有 AI

7 月 1 日，Palantir CEO Alex Karp 在 CNBC 上贡献了 20 分钟被一些媒体称为「精神崩溃」的采访。按 Karp 的说法，企业正在给前沿实验室支付 token 溢价，同时眼看自家 IP 流向模型商。他称这种泄漏为 alpha 的转移，而转移正发生在架构层：每一条发往闭源模型的请求，都以明文的形式抵达服务商的服务器。就在节目播出的几天前，Palantir 刚宣布与 NVIDIA 合作，在客户自控的环境里跑开放的 Nemotron 模型,还附上一份九条的 AI 主权宣言。CNBC 节目播出后，PLTR 跳涨 8%。

过去二十年，企业靠协议层面的信任采用云软件，而且行得通。每家 SaaS 厂商只看到企业数据的切片，多数也没什么动力拿客户数据反哺核心产品。Salesforce 看到销售渠道，Workday 看到人事，Jira 看到开发迭代，AWS 提供存储与计算的底座。然而今天的 AI 工作流主张一次性上传全部家当，连同串起各部门的结构化上下文，以求生产力最大化。抛开善意不谈，上游服务商如今可以拿这些数据去做新功能,而不是让它们躺在服务器里吃灰。

没有人在减速，Anthropic 的年化营收 5 月达到 470 亿美元，较 2025 年底的 90 亿美元大幅跃升，OpenAI 则在 2 月突破 9 亿周活跃用户。两家公司今年春天都完成了新一轮融资，估值逼近 1 万亿美元,并且预计将以更高的市值 IPO。多年的隐私与 IP 指控，都没有让两家公司损失一点势头。

有一部分企业早已做出了行动。2023 年 2 月，ChatGPT 发布不到的三个月内，华尔街主要银行就已限制其使用。2023 年 5 月，在三星工程师把芯片源代码泄漏进 ChatGPT 后，公司全网封禁生成式 AI。作为回应，OpenAI 当年 8 月上线 ChatGPT Enterprise，承诺不用商业数据训练，外加零数据留存 (zero-data-retention, ZDR)n 协议，后者此后成了企业采购的标配要求。

但合同只锁住了公司账号。IBM 发现，到 2025 年，影子 AI ( 员工通过个人账号把公司数据喂进未经批准的 AI 工具 ) 已卷入五分之一的数据泄露事件，而重度影子 AI 使用给泄露成本平均多添 67 万美元。在安全培训公司 Anagram 的一项 2025 年调查里，四成员工表示为了更快完成任务，他们愿意违反 AI 使用政策。

企业至少可以花钱买出路，ZDR 合同，不训练的服务档，如果你是政府或 Palantir 的客户还有主权部署。而对于你我这样的普通用户，隐私 AI 重不重要至今仍有争论,直到法院传票找上了门。

2025 年 5 月的一纸法院命令，迫使 OpenAI 连用户已删除的消费级聊天都要留存，11 月，法官又下令把其中 2000 万条移交《纽约时报》的律师作为证据开示材料。接着是刑事案件：Palisades 大火纵火案被告的 ChatGPT 记录进入证据，佛罗里达一起双尸命案的宣誓书引用了嫌疑人关于如何处理尸体的提问。Sam Altman 也在 2025 年 7 月的访谈中承认，ChatGPT 对话不受法律特权保护，在诉讼中 OpenAI「可能被要求交出」用户聊天记录。

重点不是只有罪犯才需要私密对话。人们和 AI 的对话被留档、可传唤,是一块多数用户不知道存在的监控面。Kolmogorov Law 在 2025 年 10 月对 1000 名美国 AI 用户的调查发现，50% 的人不知道这些对话可以被传唤，同时三分之二的人认为这些聊天应当获得与咨询律师或医生同等的保护。

自托管或跑在可验证环境里的开源模型正在快速追赶，但最强的一批在通用能力上仍落后前沿闭源模型约 4 个月。这让 tokenmaxxing 的企业和个人站在岔路口,要么为了这份隐私放弃几个月的模型质量,要么继续把敏感材料传上 Anthropic 的服务器,因为竞争对手正是这么抢生产力优势的。

目前市场上并没有完美的解决方案，份报告梳理各方缩小差距的尝试，观测可证明隐私之下的前沿智能距离交付到企业和普通用户手里还有多远。

隐私目前怎么实现

隐私 AI 不是单一工程,但目前市场里的每种机制，处理的是同一个事件： 一条 prompt 离开你的设备，穿过网络，落在跑模型的机器上，再返回一条回复。而机制之间的差别在于明文在这条路径的哪里存在，谁能在那里读到它，以及靠什么来验证回复的私密性。

协议级隐私

在这一层，除你之外还有人读到你的明文 prompt，接下来发生什么，全凭一句承诺。

• 合同式零留存是企业版方案。服务商知道你是谁,处理你的 prompt,并承诺不留存,执行靠合同和声誉。
• 匿名代理抹掉你是谁，但不加密你说了什么，下游服务商依旧按自家政策处理明文。各家条款不一，比如 Duck.ai (DuckDuckGo 的聊天机器人产品 ) 这类代理会与模型商谈删除协议，Venice 则直接让用户假定服务商会存下一切，但两边都无从验证。

机器与机器之间的每一段路都跑在 TLS 上，它只加密管道，收取的那一方可以读到所有信息。中继通常用 Oblivious HTTP (RFC 9458) 把这份知情权拆开，原理像托朋友递纸条。朋友知道是谁递的但读不了内容，收件人读得了内容但不知道是谁写的。OHTTP 自 2024 年 1 月起就成为了 IETF 标准,目前已有很多公司把生产流量跑在从 Cloudflare 和 Fastly 租来的 OHTTP 中继上。

这也是访问闭源模型所能得到的隐私上限，其原因是一道算术题。一次旗舰级训练如今的花费在十亿美元量级，而这些实验室近万亿美元的估值押的就是模型权重的独占。模型能力差距撑多久，溢价就撑多久，所以实验室把权重文件当国家机密看守。

Meta 已经被动做过这场实验。2023 年 2 月发布的 LLaMA 一开始仅向研究者开放,但不到一周，权重就以种子形式泄露到 4chan。又过一周,llama.cpp 就让其中最小的 7B 模型在一台 MacBook 上本地作答，三天后，斯坦福又在同一个模型上用不到 600 美元微调出了聊天助手 Alpaca。这次泄露把 Llama 的运行成本打到了电费，任何拿到文件的人都能在家跑。2023 年 7 月，Meta 正式以附带 7 亿月活排除条款的商业许可开源了 Llama 2。权重跑了，溢价也跟着跑了。

前沿实验室理论上可以为闭源模型的推理做 attestation ( 远程证明 ),但 attestation 只能证明是哪段代码读了 prompt，证明不了这段代码拿它做了什么。要弄清服务器有没有保留数据,我们需要审计服务代码 (serving code) 并把它重构到硬件所报告的那个哈希。可一旦交出服务代码，实验室也就交出了支撑利润率的批处理和缓存技巧，而这些技巧会迁移到未来每一代模型上。Apple 和 Meta 之所以可以为 iPhone 和 WhatsApp 背后的服务栈做远程证明，是因为它们的利润在设备和广告里，公开服务代码几乎不花什么代价。

这就是旗舰模型的权重和服务代码到不了外部运营方手里的原因。而没有外部运营方,就没有第三方 attestation，没有 attestation，可验证的隐私就只存在于开源模型之上。

结构级隐私

这一类里的每种机制，都用基于硬件、密码学或物理的证明取代信任承诺，不过各自都要为隐私升级付出不同的代价，首要的就是它们只能跑开源模型。

TEE( 可信执行环境 ) 机密计算把推理放进硬件 enclave ( 芯片上一个连机器运营方都打不开的密封舱 ) 里跑,芯片会签署一份 attestation，写明到底跑了哪个模型、哪段代码。

prompt 只在终点被封住。经平台代理中转的路径上仍留着一个能读明文的角色，而阻止代理记录或泄漏中转内容的，只有协议。

E2EE ( 端到端加密 ) 封掉了可读的中继。用户设备用 enclave 的密钥加密 prompt，中间每一跳携带的都是只有 enclave 能拆的密封信封。

• 信任落在客户端。负责加密 prompt、校验 attestation 的代码同样有能力撤销这份保证。因此可验证的 E2EE 既需要经过证明的 enclave，也同样需要开放、可复现的客户端代码。
• 相比 TEE 的简洁，E2EE 的代价是工程负担，这也拖慢了功能集成。E2EE 把代理变成一个盲送的信使，于是所有靠读明文才能运转的功能都得围绕客户端密钥重建，或只在 enclave 内部重建。

FHE ( 全同态加密，及 MPC 变体 ) 干脆去掉了受信任方。服务器在一个它永远打不开的上锁盒子里对密文做计算，钥匙只在你手上，MPC( 多方安全计算 ) 则把 prompt 拆成秘密份额分给多方,除非所有参与方合谋，效果等同。

• 代价是速度。FHE 原生只会做加法和乘法，所以 transformer 运转所需的非线性步骤，都得以高昂的成本被重建。密文上的推理成本是明文的 1 万到 10 万倍，小模型上每个 token 也要几秒到几分钟，而不加密的情况下只需毫秒。
• 为加密运算定制的芯片有望缩小差距，但第一块原型 2026 年初才完成 demo，商用版本还得再等几年。

本地推理直接删掉了这条路径。模型跑在你自己的硬件上,没有中继,没有服务器,没有服务商,也没验证需求。

• 显而易见的代价是成本和模型能力。gpt-oss-120b 在 Artificial Analysis 指数上得分约为 GLM-5.2 的一半，但体积 65GB，超过市面上两张旗舰游戏显卡的显存之和。而全精度的 GLM-5.2 只能跑在 8 卡数据中心节点上，光 GPU 就要 30 多万美元。

不过在这些结构性限制之外，把推理放进 enclave 的成本正在压缩。单卡推理上，enclave 云服务商 Phala 的基准测试显示，enclave 模式的 H100 吞吐损失平均不到 7%，而在大模型上接近零，因为主要成本在把数据搬进芯片，而不是在里面算。多卡推理上，NVIDIA 新一代 GPU Blackwell 已支持芯片间流量的直接加密，而老 H100 要达到同样效果只能以七分之一的带宽绕到 CPU 主机。NVIDIA 自家在 Blackwell 上的基准测试显示，397B 模型在 enclave 模式下的吞吐损失不到 8%。有了这些进展，隐私推理本身的性能损耗已不再是决定性约束。

事实上，enclave 本身几乎不给运营方增加额外运行成本。2023 年之后的每一块 H100 都自带 enclave 模式，额外成本是加密带来的吞吐损失，而不是多出来的芯片。目前 Azure 上的机密 H100 SKU 租价仍是每小时 8.90 美元，不开 enclave 则是 6.98 美元，相当于在传统云设施上加价 27%。而另一边,在 Phala 这样的专门提供 enclave 的运营商上，机密模式的 H100 正以每小时 3.80 美元起出租，低于 Lambda 普通 SXM 卡 3.99 到 4.29 美元的价格区间。托管 API 方案上，NEAR AI 带 attestation 的端点按每百万 token 输入 0.15 美元、输出 0.55 美元提供 gpt-oss-120b，与明文路线上的 Amazon Bedrock、Together 和 Groq 持平。即便是需要多芯片并行的模型，NEAR AI 在 GLM 5.2 上定价与 Fireworks 一分不差，并在更大的 Kimi K2.6 上输入便宜 15%、输出便宜 4%。

虽然这些新的隐私推理服务商可能在烧利润抢份额 ( 这话放在市场里任何想增长的公司身上都成立 )，但结构性的走向是，隐私的成本对消费者和运营方都在下降。

开源模型怎么赢？

尽管性能开销在压缩，前沿模型与 SOTA 开源模型之间仍有一段肉眼可见的差距，一个追求生产力最大化的主体想留在最前排，仍得信任前沿实验室不窃取自己的 IP。

差距还在，但 Bridgewater 旗下 AIA Labs 与 Thinking Machines 在 6 月 30 日给出了一个案例：一个用专家标注微调的开放模型，在准确率和成本上同时击败了前沿模型。

研究中，团队在 Tinker (Thinking Machines 的托管微调 API 服务 ) 上微调 Qwen3-235B。他们先从供应商处采购标注，用这批数据训练第一轮,再把分歧样本转给公司的投资人员重新标注。训练跑的是强化学习 (GRPO)，外加三处修改：round-robin batching ( 各任务轮流出一个批次 )、CISPO loss ( 限制单条答案能把模型拉动多远的上限 )、on-policy distillation ( 锚定当前最优 checkpoint，确保模型不会向更弱的副本学习 )。

任务全部取自投资人员的日常工作流：一篇新闻对 C-suite 级投资专业人士是否重要，一份央行文件是否暗示未来利率变动的方向，一份文档或一封邮件里的模板套话从哪里开始。评分来自独立测试集，前沿模型在简单 prompt 下平均得分约 50%，配上专家 prompt 也只冲到 78.2%，低于投资人员设置的 80% 门槛。而微调后的 Qwen 拿到 84.7%，按原文的口径,这相当于比前沿最优少犯 29.8% 的错，推理成本低 13.8 倍。

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

这个案例证明了开源模型能在准确率和成本上取胜，但训练过程仍然不是私有的。过程中使用的专家标注是 Bridgewater 的私有数据，途经 Tinker 的第三方服务,落在与 ZDR 协议同一个信任层级。基金还租用了算力，整场训练跑在它从未掌控的机器上。想要这套配方又不想背信任假设的买家，今天的选择很少。租裸 GPU 集群，训练过程对云运营方可读。买下集群解决了数据托管问题，但成本一飞冲天。

带 attestation 的路线刚刚到来。3 月,Workshop Labs 和 Tinfoil 发布了 Silo，一套跑在 Tinfoil enclave 里、单个 8 卡节点上的后训练栈，钥匙只由客户掌控。文章给出的 enclave 成本是，两小时的训练多花 11 分钟，而且这套栈通过冻结基座权重、只在其上训练小型 adapter，可以装得下一个万亿参数模型 (Kimi K2 Thinking)。难点在于，强化学习需要在各组件之间来回搬数据，而搬数据恰恰是 enclave 成本所在。

Silo 发布后不到一个月，Workshop Labs 就被 Thinking Machines 收购，在 enclave 里跑下一个 Bridgewater 式 RL 循环所需的部件，如今都归到了同一家公司名下。

Harness 层的隐私

还有一个问题横在所有私有推理机制之外。这些机制各自管的是 prompt 到模型的路径,而 agent 发起的每一次外部工具调用，都开出一条推理层根本碰不到的路。最近的 harness engineering 风潮把问题成倍放大，接在模型周围的每个工具、记忆库和数据源，都是又一个以明文读取自己那份工作流切片的目的地。日历服务器读到日程，数据库服务器读到查询。一个完全本地的 agent 如果只要想要训练集之外的任何东西，还是需要把搜索词以明文形式递给搜索引擎，服务端读不了明文，就回答不了问题。

主流解法仍默认落在协议层。Runlayer 和 MintMCP 这类公司用一个中央网关管控全部工具流量，在请求出门前遮蔽个人身份信息 (PII)。网关同时决定哪些服务器能接到流量，把未经审查的挡在门外，并记录每次调用的目的地和内容以备取证。即便这些管控挂着独立审计 (SOC 2)，工具服务器还是得读明文查询才能作答，它留不留副本取决于自家的留存条款，并且要乘上 harness 里的每一个工具。此外，网关本身也是路径上多出来的一个依赖信任的读取方，而不是验证。

结构级的方案打到了中间那一层。比如 Phala 把 MCP server 直接托管进 TEE，目录覆盖钱包、代码执行和数据源，用户可以凭一份 attestation 验证隐私声明，而不是信任运营方。然而 TEE 托管的工具最终还是要把查询以明文交给服务提供方，enclave 封住的只是信使，不是目的地。

只有少数目的地学会了不读也能作答，但仅限结构化查询。Apple 为 iPhone 提供私有信息检索，让来电号码比对垃圾电话库时无需暴露号码,Microsoft 在 Edge 浏览器里对密码用了同一种方案。MongoDB 的 Queryable Encryption 让客户端在字段离开前就加密，服务器仅凭密文就可以完成等值和范围匹配。

但对于开放式搜索，今天最好的答案止步于信任，可验证的加密搜索还没走出实验室。Brave 在自家 400 亿页的索引 ( 而非 Google 的 ) 上承诺零数据留存，可它依然落在协议层。Exa 建了一套神经索引，把用户的关键词嵌入成语义，按语义匹配给结果排序，但嵌入这一步仍在 Exa 的服务器上从明文算起。MIT 2023 年的 Tiptoe 论文在 3.6 亿网页上完成排序而不暴露查询，但每次搜索都要烧掉大量服务器算力，排序质量与不加密的搜索有差距。Apple 2024 年的 Wally 论文通过把真实查询藏进一堆诱饵里,使得通信成本最多压低 31 倍，但这套数学要到数百万并发查询才变得便宜，而这个规模，今天没有任何私有搜索系统拥有。

加密搜索做得到，只是性能和价格都还没到商用可行的地步。

展望

私有 AI 的需求在增长。Venice AI 最近突破 350 万注册用户和每月 1.3 万亿 token 的吞吐，随后完成新一轮估值 10 亿美元的 Series A 股权融资。Proton 是它的直接竞争对手，其聊天产品 Lumo 上线一年内用户破 1000 万。基础设施方面，Phala 目前在 OpenRouter 上就日均跑 20 到 30 亿 token。Duck.ai 把 gpt-oss-120b 和 Gemma 路由进 Tinfoil 的 enclave，给用户代理之外的可验证隐私。这还没算自托管，它很可能是私有推理最大的渠道，毕竟模型跑在自己的硬件上，不留任何使用痕迹。

然而放在主流 AI 的大浪潮里，隐私 AI 仅占极小一部分，而这个差距只有在前沿实验室有意满足这份需求时才会合拢。5 月，Google 全线产品处理了 3200 万亿 token，照此计算，Venice 一个月的吞吐约等于 Google 的 18 分钟。去年 11 月，Google 上线 Private AI Compute (PAC)，把部分 Gemini 驱动的功能放进与公司自身隔离的密封 TPU enclave 里跑，并且设计由 NCC Group 独立审计。但问题在于，PAC 只覆盖个性化推荐、录音摘要这样少数 Pixel 功能，并不覆盖数亿人在用的 Gemini 应用。Google 敢把设计交给审计方，是因为这些功能靠设备和广告变现，不靠卖 token。

当下的托管方案也不完美。想通过 E2EE 拿到最高隐私的用户，得等新功能在服务商读不到的地方重建一遍。私有 harness 在服务层仍然依赖协议。价格合理的后训练，想拿到最好的微调结果仍得信任第三方供应商。自托管一次性甩开所有服务商，但在本地跑最强的开源模型，花的钱可能比插着它的那栋房子还贵。

缺陷归缺陷，私有 AI 已经是一个真实且负担得起的选项，剩下的缺口也在收窄。对普通消费者,在 Lumo 和 Venice 上，无日志承诺下的开放模型私密聊天分文不花，Venice 或 Tinfoil 的 18 到 20 美元订阅则把同样的聊天封进 enclave，不比一份 ChatGPT 订阅贵。对企业工作流，带 attestation 的端点如今比明文路线甚至更便宜。NEAR 的 E2EE API 这样的端点已经能把加密的上下文带进 enclave，记忆、文件上传、自定义指令今天都能在 E2EE 之上运转。至于带 attestation 的后训练，NVIDIA 即将推出的 Vera Rubin NVL72 会把机密计算从 Blackwell 的 8 卡节点扩展到 72 卡机架，让前沿 RL 循环在不暴露 IP 的前提下更加可行。

然而关键的价值捕获，则落在这些价格压缩的层级之外。隐私在它已经存在的地方近乎免费，但还没覆盖主流的 agentic 工作流。专注租售 enclave 的运营商握着的是标准芯片上的一个开关，不是护城河，而协议层的网关则跟传统中间件同场竞争。可防守的阵地，是这份报告里还没被解决的那一半：关在 enclave 里的训练循环、端到端封死的工具调用、看不见词条的搜索索引。谁先把其中一件做出来，卖的就是任何价格战都无法商品化的东西。追逐隐私 AI 的资本，该买的是缺口,不是那个开关。

所以，信任还是验证?对于重执行、重 agent 的任务，选信任，因为每一次工具调用本来就把明文交到了 enclave 封不住的目的地，而前沿模型在这类循环里配得上它的价格。至于把一家公司同对手区分开来的高阶思考，选验证。战略、规划,以及多年专业经验提炼出的判断，恰恰就是争议中的那份 alpha。往前的路,是在公司自控的边界内，用这些专有洞见微调开源模型。在一家公司 alpha 所在的领域里，专家调校的开放模型已经在准确率和成本上同时击败前沿，而在隐私环境下构建它的基础设施，正一个节点一个节点地到来。