Vitalik分享本地私有LLM方案，強調隱私與安全優先

Odaily星球日報訊 Vitalik Buterin 發文分享其截至 2026 年 4 月的本地化、私有化 LLM 部署方案，核心目標是將隱私、安全與自主可控作為前提，盡量減少遠端模型及外部服務接觸個人資料的機會，並透過本地推理、檔案本地儲存及沙箱隔離等方式降低資料外洩、模型越獄及惡意內容利用風險。

在硬體方面，其測試了搭載 NVIDIA 5090 GPU 的筆記型電腦、AMD Ryzen AI Max Pro 128 GB 統一記憶體裝置及 DGX Spark 等方案，並使用 Qwen3.5 35B 與 122B 模型進行本地推理。其中，5090 筆記型電腦在 35B 模型下可達約 90 tokens/s，AMD 方案約 51 tokens/s，DGX Spark 約 60 tokens/s。Vitalik 表示，其更傾向於基於高效能筆記型電腦建構本地 AI 環境，同時使用 llama-server、llama-swap 及 NixOS 等工具搭建整體工作流程。