Tác giả gốc: Jiaheng Zhang
Khi trí tuệ nhân tạo (AI) ngày càng được sử dụng nhiều trong các lĩnh vực quan trọng như chăm sóc sức khỏe, tài chính và xe tự hành, việc đảm bảo độ tin cậy, tính minh bạch và bảo mật của quy trình suy luận máy học (ML) đang trở nên quan trọng hơn bao giờ hết.
Tuy nhiên, các dịch vụ học máy truyền thống thường hoạt động như một hộp đen, nơi người dùng chỉ có thể thấy kết quả và khó có thể xác minh quy trình. Sự không rõ ràng này khiến các dịch vụ mô hình dễ gặp rủi ro:
Mô hình đã bị đánh cắp,
Kết quả suy luận bị can thiệp một cách ác ý,
Dữ liệu người dùng phải đối mặt với nguy cơ rò rỉ thông tin riêng tư.
ZKML (Zero-Knowledge Machine Learning) cung cấp một giải pháp mật mã mới cho thách thức này. Nó dựa vào công nghệ zero-knowledge proof (ZKP) để cung cấp cho các mô hình học máy khả năng được xác minh bằng mật mã: chứng minh rằng một phép tính đã được thực hiện chính xác mà không tiết lộ thông tin nhạy cảm.
Nói cách khác, ZKP cho phép nhà cung cấp dịch vụ chứng minh với người dùng rằng:
“Kết quả suy luận mà bạn nhận được thực sự là những kết quả tôi chạy bằng mô hình đã được đào tạo—nhưng tôi sẽ không tiết lộ bất kỳ tham số mô hình nào.”
Điều này có nghĩa là người dùng có thể tin tưởng vào tính xác thực của kết quả suy luận, trong khi cấu trúc và các tham số của mô hình (thường là tài sản có giá trị cao) luôn được giữ bí mật.
zkPyTorch
Polyhedra Network đã ra mắt zkPyTorch, một trình biên dịch mang tính cách mạng được xây dựng dành riêng cho máy học không kiến thức (ZKML), nhằm mục đích thu hẹp khoảng cách giữa các khuôn khổ AI chính thống và công nghệ ZK.
zkPyTorch tích hợp sâu các khả năng học máy mạnh mẽ của PyTorch với công cụ chứng minh không kiến thức tiên tiến. Các nhà phát triển AI có thể xây dựng các ứng dụng AI có thể xác minh trong môi trường quen thuộc mà không cần thay đổi thói quen lập trình hoặc học ngôn ngữ ZK mới.
Trình biên dịch này có thể tự động dịch các hoạt động mô hình cấp cao (như tích chập, nhân ma trận, ReLU, softmax và cơ chế chú ý) thành các mạch ZKP có thể xác minh bằng mật mã và kết hợp với bộ tối ưu hóa ZKML do Polyhedra tự phát triển, nó có thể nén và tăng tốc thông minh các đường dẫn suy luận chính thống để đảm bảo cả tính chính xác của mạch và hiệu quả tính toán.
Xây dựng cơ sở hạ tầng quan trọng cho hệ sinh thái AI đáng tin cậy
Hệ sinh thái học máy ngày nay đang phải đối mặt với nhiều thách thức như bảo mật dữ liệu, khả năng xác minh tính toán và tính minh bạch của mô hình. Đặc biệt trong các ngành công nghiệp quan trọng như chăm sóc sức khỏe, tài chính và lái xe tự động, các mô hình AI không chỉ liên quan đến một lượng lớn thông tin cá nhân nhạy cảm mà còn mang theo tài sản trí tuệ có giá trị cao và bí mật kinh doanh cốt lõi.
Học máy không kiến thức (ZKML) ra đời và trở thành bước đột phá quan trọng trong việc giải quyết tình trạng tiến thoái lưỡng nan này. Thông qua công nghệ chứng minh không kiến thức (ZKP), ZKML có thể hoàn tất việc xác minh tính toàn vẹn của lý luận mô hình mà không làm rò rỉ các tham số mô hình hoặc dữ liệu đầu vào - vừa bảo vệ quyền riêng tư vừa đảm bảo độ tin cậy.
Nhưng trên thực tế, việc phát triển ZKML thường có ngưỡng rất cao và đòi hỏi kiến thức nền tảng sâu về mật mã, điều mà các kỹ sư AI truyền thống không thể dễ dàng nắm vững.
Đây chính xác là những gì zkPyTorch làm. Nó xây dựng cầu nối giữa PyTorch và công cụ ZKP, cho phép các nhà phát triển xây dựng các hệ thống AI có thể xác minh và bảo vệ quyền riêng tư với mã quen thuộc mà không cần phải học lại các ngôn ngữ mã hóa phức tạp.
Thông qua zkPyTorch, Polyhedra Network đang giảm đáng kể các rào cản kỹ thuật của ZKML, thúc đẩy các ứng dụng AI đáng tin cậy và có khả năng mở rộng vào xu hướng chính thống, đồng thời xây dựng lại mô hình mới về bảo mật và quyền riêng tư của AI.
Quy trình làm việc zkPyTorch
Hình 1: Tổng quan về kiến trúc tổng thể của ZKPyTorch
Như thể hiện trong Hình 1, zkPyTorch tự động chuyển đổi mô hình PyTorch chuẩn thành mạch tương thích ZKP (bằng chứng không kiến thức) thông qua ba mô-đun được thiết kế cẩn thận: mô-đun tiền xử lý, mô-đun lượng tử thân thiện với kiến thức không kiến thức và mô-đun tối ưu hóa mạch.
Quá trình này không yêu cầu các nhà phát triển phải thành thạo bất kỳ mạch mã hóa hoặc cú pháp đặc biệt nào: các nhà phát triển chỉ cần sử dụng PyTorch tiêu chuẩn để viết mô hình và zkPyTorch có thể chuyển đổi chúng thành các mạch có thể được nhận dạng bởi các công cụ chứng minh không kiến thức như Expander và tạo ra các bằng chứng ZK tương ứng. Thiết kế mô-đun cao này làm giảm đáng kể ngưỡng phát triển của ZKML, cho phép các nhà phát triển AI dễ dàng xây dựng các ứng dụng học máy hiệu quả, an toàn và có thể xác minh mà không cần chuyển đổi ngôn ngữ hoặc học mật mã.
Mô-đun 1: Tiền xử lý mô hình
Ở giai đoạn đầu tiên, zkPyTorch chuyển đổi mô hình PyTorch thành đồ thị tính toán có cấu trúc bằng định dạng Open Neural Network Exchange (ONNX). ONNX là một tiêu chuẩn biểu diễn trung gian được sử dụng rộng rãi có thể biểu diễn đồng nhất nhiều hoạt động học máy phức tạp. Thông qua bước tiền xử lý này, zkPyTorch có thể làm rõ cấu trúc mô hình và phân tích quy trình tính toán cốt lõi, đặt nền tảng vững chắc cho thế hệ tiếp theo của mạch chứng minh không kiến thức.
Mô-đun 2: Định lượng thân thiện với ZKP
Mô-đun lượng tử hóa là một phần quan trọng của hệ thống ZKML. Các mô hình học máy truyền thống dựa vào các phép toán dấu phẩy động, trong khi môi trường ZKP phù hợp hơn với các phép toán số nguyên trong các trường hữu hạn. zkPyTorch sử dụng một lược đồ lượng tử hóa số nguyên được tối ưu hóa cho các trường hữu hạn để ánh xạ chính xác các phép tính dấu phẩy động thành các phép tính số nguyên, đồng thời chuyển đổi các phép toán phi tuyến tính không có lợi cho ZKP (như ReLU, Softmax) thành các dạng bảng tra cứu hiệu quả.
Chiến lược này không chỉ làm giảm đáng kể độ phức tạp của mạch mà còn cải thiện khả năng xác minh và hiệu quả hoạt động của toàn bộ hệ thống đồng thời đảm bảo độ chính xác của mô hình.
Mô-đun 3: Tối ưu hóa mạch phân cấp
zkPyTorch sử dụng chiến lược đa cấp để tối ưu hóa mạch, bao gồm:
Tối ưu hóa hàng loạt được thiết kế đặc biệt cho tính toán tuần tự. Nó làm giảm đáng kể độ phức tạp của tính toán và mức tiêu thụ tài nguyên bằng cách xử lý nhiều bước suy luận cùng một lúc. Nó đặc biệt phù hợp cho các tình huống xác minh của các mô hình ngôn ngữ lớn như Transformer.
Tăng tốc hoạt động nguyên thủy kết hợp phép biến đổi Fourier nhanh (FFT) với công nghệ bảng tra cứu để cải thiện hiệu quả tốc độ thực hiện mạch của các hoạt động cơ bản như phép tích chập và Softmax, về cơ bản nâng cao hiệu quả tính toán tổng thể.
Thực thi mạch song song tận dụng tối đa sức mạnh tính toán của CPU đa lõi và GPU, chia các phép tính tải nặng như nhân ma trận thành nhiều tác vụ phụ để thực thi song song, cải thiện đáng kể tốc độ và khả năng mở rộng của thế hệ bằng chứng không kiến thức.
Thảo luận chuyên sâu về kỹ thuật
Đồ thị có hướng phi chu trình (DAG)
zkPyTorch sử dụng đồ thị có hướng không chu trình (DAG) để quản lý quá trình tính toán của máy học. Cấu trúc DAG có thể nắm bắt một cách có hệ thống các phụ thuộc mô hình phức tạp, như thể hiện trong Hình 2. Mỗi nút trong đồ thị biểu diễn một hoạt động cụ thể (như chuyển vị ma trận, nhân ma trận, chia và Softmax), trong khi các cạnh mô tả chính xác luồng dữ liệu giữa các hoạt động này.
Biểu diễn rõ ràng và có cấu trúc này không chỉ hỗ trợ rất nhiều cho quá trình gỡ lỗi mà còn giúp tối ưu hóa hiệu suất chuyên sâu. Bản chất phi chu kỳ của DAG tránh được sự phụ thuộc theo chu kỳ và đảm bảo thực hiện hiệu quả và có thể kiểm soát được trình tự tính toán, điều này rất quan trọng để tối ưu hóa việc tạo ra các mạch chứng minh không kiến thức.
Ngoài ra, DAG cho phép zkPyTorch xử lý hiệu quả các kiến trúc mô hình phức tạp như Transformer và Residual Network (ResNet). Các mô hình này thường có luồng dữ liệu đa đường, phi tuyến tính và phức tạp. Thiết kế của DAG chỉ đáp ứng nhu cầu tính toán của chúng, đảm bảo tính chính xác và hiệu quả của lý luận mô hình.
Hình 2: Ví dụ về mô hình học máy được biểu diễn dưới dạng đồ thị phi chu trình có hướng (DAG)
Kỹ thuật lượng tử hóa nâng cao
Trong zkPyTorch, các kỹ thuật lượng tử hóa tiên tiến là bước quan trọng trong việc chuyển đổi các phép tính dấu phẩy động thành các phép toán số nguyên phù hợp với phép tính trường hữu hạn hiệu quả trong các hệ thống chứng minh không kiến thức (ZKP). zkPyTorch sử dụng phương pháp lượng tử hóa số nguyên tĩnh được thiết kế cẩn thận để cân bằng hiệu quả tính toán và độ chính xác của mô hình, đảm bảo vừa nhanh vừa chính xác khi tạo ra các bằng chứng.
Quá trình lượng tử hóa này bao gồm hiệu chuẩn nghiêm ngặt để xác định chính xác thang lượng tử hóa tối ưu để biểu diễn hiệu quả các số dấu phẩy động và tránh tràn và mất độ chính xác đáng kể. Để ứng phó với những thách thức tính toán phi tuyến tính độc đáo của ZKP (như Softmax và chuẩn hóa lớp), zkPyTorch chuyển đổi sáng tạo các hàm phức tạp này thành các hoạt động tra cứu bảng hiệu quả.
Chiến lược này không chỉ cải thiện đáng kể hiệu quả tạo bằng chứng mà còn đảm bảo rằng kết quả bằng chứng được tạo ra hoàn toàn phù hợp với đầu ra của mô hình lượng tử hóa có độ chính xác cao, đồng thời tính đến cả hiệu suất và độ tin cậy, đồng thời thúc đẩy ứng dụng thực tế của máy học có thể xác minh được.
Chiến lược tối ưu hóa mạch đa cấp
zkPyTorch sử dụng hệ thống tối ưu hóa mạch đa cấp cực kỳ tinh vi để đảm bảo hiệu suất tối ưu của lý luận không cần kiến thức về mặt hiệu quả và khả năng mở rộng từ nhiều chiều:
Tối ưu hóa xử lý hàng loạt
Bằng cách đóng gói nhiều tác vụ lý luận thành từng đợt, độ phức tạp tính toán tổng thể được giảm đáng kể, đặc biệt phù hợp với các tình huống hoạt động tuần tự trong các mô hình ngôn ngữ như Transformer. Như thể hiện trong Hình 3, quy trình lý luận mô hình ngôn ngữ lớn (LLM) truyền thống chạy theo cách tạo từng mã thông báo, trong khi phương pháp cải tiến của zkPyTorch tổng hợp tất cả các mã thông báo đầu vào và đầu ra thành một quy trình nhắc duy nhất để xác minh. Phương pháp xử lý này có thể xác nhận xem lý luận tổng thể của LLM có đúng tại một thời điểm hay không, đồng thời đảm bảo rằng mỗi mã thông báo đầu ra đều nhất quán với lý luận LLM tiêu chuẩn.
Trong suy luận LLM, tính chính xác của cơ chế bộ đệm KV (bộ đệm khóa-giá trị) là chìa khóa để đảm bảo độ tin cậy của đầu ra suy luận. Nếu logic suy luận của mô hình sai, ngay cả khi bộ đệm được sử dụng, thì không thể khôi phục kết quả phù hợp với quy trình giải mã chuẩn. zkPyTorch đảm bảo rằng mọi đầu ra trong bằng chứng không kiến thức đều có độ chắc chắn và tính toàn vẹn có thể xác minh được bằng cách tái tạo chính xác quy trình này.
Hình 3: Xác thực hàng loạt phép tính của Mô hình ngôn ngữ quy mô lớn (LLM), trong đó L biểu thị độ dài chuỗi đầu vào, N biểu thị độ dài chuỗi đầu ra và H biểu thị chiều lớp ẩn của mô hình.
Hoạt động nguyên thủy được tối ưu hóa
zkPyTorch đã tối ưu hóa sâu sắc các nguyên hàm học máy cơ bản, cải thiện đáng kể hiệu quả mạch. Ví dụ, các phép toán tích chập luôn là các tác vụ đòi hỏi nhiều tính toán. zkPyTorch sử dụng phương pháp tối ưu hóa dựa trên phép biến đổi Fourier nhanh (FFT) để chuyển đổi phép tích chập ban đầu được thực hiện trong miền không gian thành phép nhân trong miền tần số, giúp giảm đáng kể chi phí tính toán. Đồng thời, đối với các hàm phi tuyến tính như ReLU và softmax, hệ thống sử dụng bảng tra cứu được tính toán trước để tránh các phép tính phi tuyến tính không thân thiện với ZKP, cải thiện đáng kể hiệu quả hoạt động của mạch suy luận.
Thực hiện mạch song song
zkPyTorch tự động biên dịch các hoạt động ML phức tạp thành các mạch song song, giải phóng hoàn toàn tiềm năng phần cứng của CPU/GPU đa lõi và cho phép tạo ra bằng chứng song song quy mô lớn. Ví dụ, khi thực hiện phép nhân tenxơ, zkPyTorch tự động chia tác vụ tính toán thành nhiều tác vụ con độc lập và phân phối chúng cho nhiều đơn vị xử lý để thực hiện đồng thời. Chiến lược song song hóa này không chỉ cải thiện đáng kể thông lượng thực hiện mạch mà còn biến việc xác minh hiệu quả các mô hình lớn thành hiện thực, mở ra một chiều hướng mới cho ZKML có thể mở rộng.
Kiểm tra hiệu suất toàn diện: Đột phá kép về hiệu suất và độ chính xác
zkPyTorch đã vượt qua các bài kiểm tra chuẩn nghiêm ngặt và chứng minh hiệu suất tuyệt vời cùng khả năng sử dụng thực tế trong nhiều mô hình học máy chính thống:
Kiểm tra mô hình VGG-16
Trên tập dữ liệu CIFAR-10, zkPyTorch có thể hoàn thành việc tạo bằng chứng VGG-16 cho một hình ảnh duy nhất chỉ trong 6,3 giây và độ chính xác gần giống với các phép tính dấu phẩy động truyền thống. Điều này cho thấy zkML có khả năng thực tế trong các tác vụ cổ điển như nhận dạng hình ảnh.
Kiểm tra mô hình Llama-3
Đối với mô hình ngôn ngữ lớn Llama-3 có quy mô lên đến 8 tỷ tham số, zkPyTorch đạt được khả năng tạo bằng chứng hiệu quả trong khoảng 150 giây cho mỗi mã thông báo. Ấn tượng hơn nữa là đầu ra của nó duy trì độ tương đồng cosin là 99,32% so với mô hình gốc, đồng thời đảm bảo độ tin cậy cao và vẫn tính đến tính nhất quán ngữ nghĩa của đầu ra mô hình.
Bảng 1: Hiệu suất của các lược đồ ZKP khác nhau trong mạng nơ-ron tích chập và mạng biến áp
Nhiều kịch bản ứng dụng thực tế
Học máy có thể xác minh dưới dạng dịch vụ (Verifiable MLaaS)
Khi giá trị của các mô hình học máy tiếp tục tăng, ngày càng nhiều nhà phát triển AI lựa chọn triển khai các mô hình do họ tự phát triển lên đám mây và cung cấp các dịch vụ MLaaS (Học máy dưới dạng dịch vụ). Tuy nhiên, trên thực tế, người dùng thường gặp khó khăn trong việc xác minh xem kết quả suy luận có đúng và đáng tin cậy hay không; và các nhà cung cấp mô hình cũng muốn bảo vệ các tài sản cốt lõi như cấu trúc và tham số mô hình để tránh bị đánh cắp hoặc lạm dụng.
zkPyTorch được tạo ra để giải quyết mâu thuẫn này: nó cho phép các dịch vụ AI dựa trên đám mây có khả năng xác minh không cần kiến thức và làm cho kết quả suy luận có thể xác minh được ở cấp độ mã hóa.
Như thể hiện trong Hình 4, các nhà phát triển có thể kết nối trực tiếp các mô hình lớn như Llama-3 với zkPyTorch để xây dựng một hệ thống MLaaS đáng tin cậy với khả năng chứng minh không kiến thức. Bằng cách tích hợp liền mạch với công cụ ZKP cơ bản, zkPyTorch có thể tự động tạo ra các bằng chứng mà không tiết lộ chi tiết mô hình, xác minh xem từng lý luận có được thực hiện đúng không và do đó thiết lập một nền tảng tin cậy tương tác thực sự đáng tin cậy cho các nhà cung cấp và người dùng mô hình.
Hình 4: Các tình huống ứng dụng của zkPyTorch trong Dịch vụ học máy có thể xác minh (Verifiable MLaaS).
Bảo vệ định giá mô hình
zkPyTorch cung cấp một cơ chế đánh giá mô hình AI an toàn và có thể xác minh, cho phép các bên liên quan đánh giá cẩn thận các chỉ số hiệu suất chính mà không tiết lộ chi tiết mô hình. Phương pháp định giá không rò rỉ này thiết lập một tiêu chuẩn tin cậy mới cho các mô hình AI, đồng thời cải thiện hiệu quả của các giao dịch thương mại và bảo vệ an ninh sở hữu trí tuệ của các nhà phát triển. Nó không chỉ cải thiện khả năng hiển thị giá trị mô hình mà còn mang lại tính minh bạch và công bằng cao hơn cho toàn bộ ngành công nghiệp AI.
Tích hợp sâu với blockchain EXPchain
zkPyTorch tích hợp mạng blockchain EXPchain do Polyhedra Network phát triển độc lập để cùng nhau xây dựng cơ sở hạ tầng AI phi tập trung đáng tin cậy. Tích hợp này cung cấp một đường dẫn được tối ưu hóa cao cho các lệnh gọi hợp đồng thông minh và xác minh trên chuỗi, cho phép kết quả suy luận AI được xác minh bằng mật mã và lưu trữ vĩnh viễn trên chuỗi khối.
Với sự hợp tác của zkPyTorch và EXPchain, các nhà phát triển có thể xây dựng các ứng dụng AI có thể xác minh toàn diện, từ triển khai mô hình, tính toán suy luận đến xác minh trên chuỗi, thực sự hiện thực hóa quy trình tính toán AI minh bạch, đáng tin cậy và có thể kiểm tra được, đồng thời cung cấp hỗ trợ cơ bản cho thế hệ ứng dụng blockchain + AI tiếp theo.
Lộ trình tương lai và đổi mới liên tục
Polyhedra sẽ tiếp tục thúc đẩy sự phát triển của zkPyTorch, tập trung vào các lĩnh vực sau:
Nguồn mở và xây dựng cộng đồng
Dần dần mở mã nguồn các thành phần cốt lõi của zkPyTorch để truyền cảm hứng cho sự tham gia của các nhà phát triển toàn cầu và thúc đẩy đổi mới hợp tác và thịnh vượng sinh thái trong lĩnh vực học máy không kiến thức.
Mở rộng khả năng tương thích của mô hình và khung
Mở rộng hỗ trợ cho các mô hình và khuôn khổ học máy chính thống, nâng cao hơn nữa khả năng thích ứng và tính linh hoạt của zkPyTorch và cho phép nhúng linh hoạt vào nhiều quy trình làm việc AI khác nhau.
Công cụ phát triển và xây dựng SDK
Ra mắt chuỗi công cụ phát triển toàn diện và bộ phát triển phần mềm (SDK) để đơn giản hóa quy trình tích hợp và đẩy nhanh việc triển khai và ứng dụng zkPyTorch trong các tình huống kinh doanh thực tế.
Phần kết luận
zkPyTorch là một cột mốc quan trọng hướng tới tương lai của AI đáng tin cậy. Bằng cách tích hợp sâu vào khuôn khổ PyTorch trưởng thành với công nghệ bằng chứng không kiến thức tiên tiến, zkPyTorch không chỉ cải thiện đáng kể tính bảo mật và khả năng xác minh của máy học mà còn định hình lại phương pháp triển khai và ranh giới tin cậy của các ứng dụng AI.
Polyhedra sẽ tiếp tục đào sâu đổi mới trong lĩnh vực AI an toàn, thúc đẩy máy học đạt tiêu chuẩn cao hơn về bảo vệ quyền riêng tư, khả năng xác minh kết quả và tuân thủ mô hình, đồng thời giúp xây dựng các hệ thống thông minh minh bạch, đáng tin cậy và có khả năng mở rộng.
Hãy theo dõi khi chúng tôi tiếp tục công bố những phát triển mới nhất và chứng kiến cách zkPyTorch sẽ định hình lại tương lai của kỷ nguyên tình báo an toàn.
