Vitalik chia sẻ giải pháp LLM cục bộ riêng tư, nhấn mạnh ưu tiên quyền riêng tư và bảo mật
Odaily Tin tức Vitalik Buterin đã đăng một bài viết chia sẻ kế hoạch triển khai LLM cục bộ, riêng tư của mình tính đến tháng 4 năm 2026, với mục tiêu cốt lõi là đặt quyền riêng tư, bảo mật và khả năng kiểm soát tự chủ làm tiền đề, giảm thiểu cơ hội các mô hình từ xa và dịch vụ bên ngoài tiếp xúc với dữ liệu cá nhân, đồng thời giảm rủi ro rò rỉ dữ liệu, jailbreak mô hình và khai thác nội dung độc hại thông qua suy luận cục bộ, lưu trữ tệp cục bộ và cách ly sandbox.
Về mặt phần cứng, ông đã thử nghiệm các giải pháp như máy tính xách tay trang bị GPU NVIDIA 5090, thiết bị bộ nhớ thống nhất AMD Ryzen AI Max Pro 128 GB và DGX Spark, đồng thời sử dụng mô hình Qwen3.5 35B và 122B để suy luận cục bộ. Trong đó, máy tính xách tay 5090 có thể đạt khoảng 90 tokens/s với mô hình 35B, giải pháp AMD khoảng 51 tokens/s và DGX Spark khoảng 60 tokens/s. Vitalik cho biết, ông có xu hướng xây dựng môi trường AI cục bộ dựa trên máy tính xách tay hiệu suất cao, đồng thời sử dụng các công cụ như llama-server, llama-swap và NixOS để thiết lập toàn bộ quy trình làm việc.
