원작자: 장지형
인공지능(AI)이 의료, 금융, 자율 주행 등 핵심 분야에서 점점 더 많이 사용됨에 따라, 머신 러닝(ML) 추론 프로세스의 신뢰성, 투명성, 보안을 보장하는 것이 그 어느 때보다 중요해지고 있습니다.
하지만 기존의 머신러닝 서비스는 종종 블랙박스처럼 작동하여 사용자가 결과만 볼 수 있고 과정 검증이 어렵습니다. 이러한 불투명성으로 인해 모델 서비스는 다음과 같은 위험에 취약해집니다.
모델이 도난당했습니다.
추론 결과가 악의적으로 변조되었습니다.
사용자 데이터는 개인정보 유출 위험에 직면해 있습니다.
ZKML(영지식 머신러닝)은 이러한 과제에 대한 새로운 암호학적 솔루션을 제공합니다. 영지식 증명(ZKP) 기술을 활용하여 머신러닝 모델이 암호학적으로 검증될 수 있도록 합니다. 즉, 민감한 정보를 노출하지 않고도 계산이 올바르게 수행되었음을 증명할 수 있습니다.
즉, ZKP를 통해 서비스 제공자는 사용자에게 다음 사항을 증명할 수 있습니다.
여러분이 얻는 추론 결과는 실제로 제가 훈련된 모델을 사용하여 실행한 결과입니다. 하지만 모델 매개변수는 공개하지 않겠습니다.
즉, 사용자는 추론 결과의 진위를 신뢰할 수 있는 반면, 모델의 구조와 매개변수(종종 가치가 높은 자산)는 항상 비공개로 유지됩니다.
zkPyTorch
Polyhedra Network는 ZKML(영지식 머신 러닝)을 위해 특별히 제작된 혁신적인 컴파일러인 zkPyTorch를 출시했습니다. 이는 주류 AI 프레임워크와 ZK 기술 간의 마지막 단계를 연결하는 것을 목표로 합니다.
zkPyTorch는 PyTorch의 강력한 머신러닝 기능과 최첨단 영지식 증명 엔진을 긴밀하게 통합합니다. AI 개발자는 프로그래밍 습관을 바꾸거나 새로운 ZK 언어를 배우지 않고도 익숙한 환경에서 검증 가능한 AI 애플리케이션을 구축할 수 있습니다.
이 컴파일러는 고수준 모델 연산(합성곱, 행렬 곱셈, ReLU, 소프트맥스, 어텐션 메커니즘 등)을 암호학적으로 검증 가능한 ZKP 회로로 자동 변환하고, Polyhedra가 자체 개발한 ZKML 최적화 제품군과 결합하여 주류 추론 경로를 지능적으로 압축하고 가속화하여 회로의 정확성과 계산 효율성을 모두 보장할 수 있습니다.
신뢰할 수 있는 AI 생태계를 위한 핵심 인프라 구축
오늘날 머신러닝 생태계는 데이터 보안, 계산 검증 가능성, 모델 투명성 등 여러 과제에 직면해 있습니다. 특히 의료, 금융, 자율주행과 같은 핵심 산업에서 AI 모델은 방대한 양의 민감한 개인정보를 포함할 뿐만 아니라, 고부가가치 지적 재산권과 핵심 사업 비밀을 담고 있습니다.
영지식 머신러닝(ZKML)은 이러한 딜레마를 해결하는 데 중요한 돌파구가 되었습니다. 영지식 증명(ZKP) 기술을 통해 ZKML은 모델 매개변수나 입력 데이터를 유출하지 않고도 모델 추론의 무결성 검증을 완료할 수 있으며, 이를 통해 개인정보 보호와 신뢰성 확보를 모두 실현할 수 있습니다.
하지만 실제로 ZKML 개발은 종종 매우 높은 기준을 필요로 하며, 암호화에 대한 심층적인 배경 지식을 필요로 하는데, 이는 기존 AI 엔지니어가 쉽게 숙달할 수 있는 능력을 훌쩍 뛰어넘습니다.
zkPyTorch가 하는 일이 바로 이것입니다. zkPyTorch는 PyTorch와 ZKP 엔진을 연결하는 다리 역할을 하여 개발자가 복잡한 암호화 언어를 다시 배우지 않고도 익숙한 코드로 개인정보 보호 및 검증 가능한 AI 시스템을 구축할 수 있도록 합니다.
Polyhedra Network는 zkPyTorch를 통해 ZKML의 기술적 장벽을 크게 낮추고, 확장 가능하고 신뢰할 수 있는 AI 애플리케이션을 주류로 끌어올리고, AI 보안 및 개인정보 보호에 대한 새로운 패러다임을 재구성하고 있습니다.
zkPyTorch 워크플로
그림 1: ZKPyTorch의 전체 아키텍처 개요
그림 1에서 볼 수 있듯이 zkPyTorch는 세 가지 신중하게 설계된 모듈(전처리 모듈, 영지식 친화적 양자화 모듈, 회로 최적화 모듈)을 통해 표준 PyTorch 모델을 ZKP(영지식 증명) 호환 회로로 자동 변환합니다.
이 과정에서 개발자는 암호화 회로나 특수 구문을 숙달할 필요가 없습니다. 개발자는 표준 PyTorch를 사용하여 모델을 작성하기만 하면 되며, zkPyTorch는 이를 Expander와 같은 영지식 증명 엔진이 인식할 수 있는 회로로 변환하고 해당 ZK 증명을 생성합니다. 이처럼 고도로 모듈화된 설계는 ZKML의 개발 문턱을 크게 낮춰 AI 개발자가 언어를 변경하거나 암호화를 배우지 않고도 효율적이고 안전하며 검증 가능한 머신러닝 애플리케이션을 쉽게 구축할 수 있도록 합니다.
모듈 1: 모델 전처리
첫 번째 단계에서 zkPyTorch는 PyTorch 모델을 ONNX(Open Neural Network Exchange) 형식을 사용하여 구조화된 계산 그래프로 변환합니다. ONNX는 다양하고 복잡한 머신 러닝 연산을 균일하게 표현할 수 있는 널리 사용되는 중간 표현 표준입니다. 이 전처리 단계를 통해 zkPyTorch는 모델 구조를 명확히 하고 핵심 계산 과정을 분해하여 차세대 영지식 증명 회로를 위한 견고한 기반을 마련합니다.
모듈 2: ZKP 친화적 정량화
양자화 모듈은 ZKML 시스템의 핵심 부분입니다. 기존의 머신 러닝 모델은 부동 소수점 연산에 의존하는 반면, ZKP 환경은 유한체에서의 정수 연산에 더 적합합니다. zkPyTorch는 유한체에 최적화된 정수 양자화 체계를 사용하여 부동 소수점 연산을 정수 연산으로 정확하게 매핑하는 동시에, ZKP에 적합하지 않은 비선형 연산(예: ReLU, Softmax)을 효율적인 조회 테이블 형태로 변환합니다.
이 전략은 회로의 복잡성을 크게 줄일 뿐만 아니라, 모델 정확도를 보장하는 동시에 전체 시스템의 검증 가능성과 운영 효율성을 향상시킵니다.
모듈 3: 계층적 회로 최적화
zkPyTorch는 다음을 포함하여 회로 최적화를 위한 다단계 전략을 사용합니다.
배치 최적화는 직렬 컴퓨팅을 위해 특별히 설계되었습니다. 여러 추론 단계를 한 번에 처리하여 컴퓨팅 복잡성과 리소스 소비를 크게 줄입니다. 특히 Transformer와 같은 대규모 언어 모델의 검증 시나리오에 적합합니다.
기본 연산 가속은 고속 푸리에 변환(FFT) 합성곱과 룩업 테이블 기술을 결합하여 합성곱 및 소프트맥스와 같은 기본 연산의 회로 실행 속도를 효과적으로 향상시켜 전반적인 컴퓨팅 효율성을 근본적으로 향상시킵니다.
병렬 회로 실행은 멀티 코어 CPU와 GPU의 컴퓨팅 성능을 최대한 활용하여 행렬 곱셈과 같은 무거운 계산을 여러 하위 작업으로 분할하여 병렬로 실행하고, 이를 통해 제로 지식 증명 생성의 속도와 확장성을 크게 향상시킵니다.
심도 있는 기술 토론
방향성 비순환 그래프(DAG)
zkPyTorch는 머신 러닝의 계산 과정을 관리하기 위해 방향성 비순환 그래프(DAG)를 사용합니다. DAG 구조는 그림 2와 같이 복잡한 모델 종속성을 체계적으로 포착할 수 있습니다. 그래프의 각 노드는 특정 연산(예: 행렬 전치, 행렬 곱셈, 나눗셈, 소프트맥스)을 나타내며, 간선은 이러한 연산 간의 데이터 흐름을 정확하게 설명합니다.
이러한 명확하고 체계적인 표현은 디버깅 프로세스를 크게 용이하게 할 뿐만 아니라 심층적인 성능 최적화에도 도움이 됩니다. DAG의 비순환적 특성은 순환적 종속성을 피하고 계산 시퀀스의 효율적이고 제어 가능한 실행을 보장하며, 이는 영지식 증명 회로 생성을 최적화하는 데 매우 중요합니다.
또한, DAG는 zkPyTorch가 Transformer 및 Residual Network(ResNet)와 같은 복잡한 모델 아키텍처를 효율적으로 처리할 수 있도록 지원합니다. 이러한 모델은 일반적으로 다중 경로, 비선형 및 복잡한 데이터 흐름을 갖습니다. DAG는 이러한 컴퓨팅 요구 사항을 충족하여 모델 추론의 정확성과 효율성을 보장합니다.
그림 2: DAG(유향 비순환 그래프)로 표현된 머신 러닝 모델의 예
고급 양자화 기술
zkPyTorch에서 고급 양자화 기술은 부동 소수점 계산을 영지식 증명(ZKP) 시스템에서 효율적인 유한체 산술에 적합한 정수 연산으로 변환하는 데 있어 핵심 단계입니다. zkPyTorch는 계산 효율성과 모델 정확도의 균형을 신중하게 맞춰 설계된 정적 정수 양자화 방법을 사용하여 증명을 생성할 때 빠르고 정확한 결과를 보장합니다.
이 양자화 과정은 부동 소수점 숫자를 효과적으로 표현하고 오버플로우와 심각한 정밀도 손실을 방지하기 위한 최적의 양자화 스케일을 정확하게 결정하기 위한 엄격한 보정을 포함합니다. ZKP의 고유한 비선형 컴퓨팅 과제(예: 소프트맥스 및 계층 정규화)에 대응하여 zkPyTorch는 이러한 복잡한 함수를 효율적인 테이블 조회 연산으로 혁신적으로 변환합니다.
이 전략은 증명 생성의 효율성을 크게 향상시킬 뿐만 아니라, 성능과 신뢰성을 모두 고려하여 생성된 증명 결과가 고정밀 양자화 모델의 출력과 완전히 일치하도록 보장하며, 검증 가능한 머신 러닝의 실제 적용을 촉진합니다.
다단계 회로 최적화 전략
zkPyTorch는 매우 정교한 다단계 회로 최적화 시스템을 사용하여 다차원의 효율성과 확장성 측면에서 제로 지식 추론의 궁극적인 성능을 보장합니다.
일괄 처리 최적화
여러 추론 작업을 배치로 패키징함으로써 전체 계산 복잡도가 크게 감소하며, 이는 특히 Transformer와 같은 언어 모델의 순차적 연산 시나리오에 적합합니다. 그림 3에서 볼 수 있듯이 기존의 대규모 언어 모델(LLM) 추론 프로세스는 토큰 단위 생성 방식으로 실행되는 반면, zkPyTorch의 혁신적인 방식은 모든 입력 및 출력 토큰을 단일 프롬프트 프로세스로 통합하여 검증합니다. 이 처리 방식은 LLM의 전체 추론이 정확한지 한 번에 확인하는 동시에 각 출력 토큰이 표준 LLM 추론과 일치하는지 확인할 수 있습니다.
LLM 추론에서 KV 캐시(키-값 캐시) 메커니즘의 정확성은 추론 출력의 신뢰성을 보장하는 핵심 요소입니다. 모델의 추론 논리가 잘못되면 캐시를 사용하더라도 표준 디코딩 프로세스와 일치하는 결과를 복원하는 것은 불가능합니다. zkPyTorch는 이 프로세스를 정확하게 재현함으로써 영지식 증명의 모든 출력이 검증 가능한 확실성과 무결성을 갖도록 보장합니다.
그림 3: 대규모 언어 모델(LLM) 계산의 일괄 검증, 여기서 L은 입력 시퀀스 길이를 나타내고, N은 출력 시퀀스 길이를 나타내며, H는 모델의 은닉 계층 차원을 나타냅니다.
최적화된 원시 작업
zkPyTorch는 기본 머신 러닝 기본 요소를 심층적으로 최적화하여 회로 효율을 크게 향상시켰습니다. 예를 들어, 합성곱 연산은 항상 계산 집약적인 작업이었습니다. zkPyTorch는 고속 푸리에 변환(FFT) 기반 최적화 방법을 사용하여 공간 영역에서 수행된 합성곱 연산을 주파수 영역에서의 곱셈 연산으로 변환하여 계산 비용을 크게 줄였습니다. 동시에, ReLU 및 소프트맥스와 같은 비선형 함수의 경우, 시스템은 미리 계산된 조회 테이블을 사용하여 ZKP에 적합하지 않은 비선형 계산을 방지하여 추론 회로의 작동 효율을 크게 향상시킵니다.
병렬 회로 실행
zkPyTorch는 복잡한 ML 연산을 자동으로 병렬 회로로 컴파일하여 멀티코어 CPU/GPU의 하드웨어 잠재력을 최대한 활용하고 대규모 병렬 증명 생성을 가능하게 합니다. 예를 들어, 텐서 곱셈을 수행할 때 zkPyTorch는 계산 작업을 여러 개의 독립적인 하위 작업으로 자동 분할하여 여러 처리 장치에 분산시켜 동시 실행을 지원합니다. 이러한 병렬화 전략은 회로 실행 처리량을 크게 향상시킬 뿐만 아니라 대규모 모델의 효율적인 검증을 실현하여 확장 가능한 ZKML의 새로운 지평을 엽니다.
종합적인 성능 테스트: 성능과 정확도에서 두 배의 혁신
zkPyTorch는 엄격한 벤치마크 테스트를 통과했으며 다양한 주류 머신 러닝 모델에서 뛰어난 성능과 실용적인 사용성을 입증했습니다.
VGG-16 모델 테스트
CIFAR-10 데이터셋에서 zkPyTorch는 단일 이미지에 대한 VGG-16 증명 생성을 단 6.3초 만에 완료할 수 있으며, 정확도는 기존 부동 소수점 연산과 거의 동일합니다. 이는 zkML이 이미지 인식과 같은 고전적인 작업에서 실용적인 역량을 갖추고 있음을 시사합니다.
라마-3 모델 테스트
최대 80억 개의 매개변수를 갖는 Llama-3 대규모 언어 모델에 대해 zkPyTorch는 토큰당 약 150초의 효율적인 증명 생성을 달성했습니다. 더욱 인상적인 점은 zkPyTorch의 출력이 원본 모델과 비교하여 99.32%의 코사인 유사도를 유지하면서도 높은 신뢰도를 보장하고 모델 출력의 의미적 일관성을 고려한다는 것입니다.
표 1: 합성곱 신경망과 변환기 네트워크에서 다양한 ZKP 방식의 성능
다양한 실제 적용 시나리오
검증 가능한 서비스로서의 머신 러닝(Verifiable MLaaS)
머신러닝 모델의 가치가 지속적으로 상승함에 따라, 점점 더 많은 AI 개발자들이 자체 개발한 모델을 클라우드에 구축하고 MLaaS(Machine-Learning-as-a-Service) 서비스를 제공하고 있습니다. 그러나 실제로는 사용자가 추론 결과의 정확성과 신뢰성을 검증하기 어려운 경우가 많습니다. 또한 모델 제공업체는 모델 구조 및 매개변수와 같은 핵심 자산을 보호하여 도난이나 남용을 방지하고자 합니다.
zkPyTorch는 이러한 모순을 해결하기 위해 만들어졌습니다. 클라우드 기반 AI 서비스가 기본적으로 제로 지식 검증 기능을 갖추고 추론 결과를 암호화 수준에서 검증할 수 있도록 합니다.
그림 4에서 볼 수 있듯이 개발자는 Llama-3와 같은 대규모 모델을 zkPyTorch에 직접 연결하여 영지식 증명 기능을 갖춘 신뢰할 수 있는 MLaaS 시스템을 구축할 수 있습니다. zkPyTorch는 기본 ZKP 엔진과 완벽하게 통합되어 모델 세부 정보를 노출하지 않고 자동으로 증명을 생성하고, 각 추론이 올바르게 실행되는지 검증하여 모델 제공자와 사용자에게 진정으로 신뢰할 수 있는 상호 작용 기반을 구축할 수 있습니다.
그림 4: 검증 가능한 MLaaS(Verifiable MLaaS)에서 zkPyTorch의 적용 시나리오.
보호 모델 평가
zkPyTorch는 안전하고 검증 가능한 AI 모델 평가 메커니즘을 제공하여 이해관계자가 모델 세부 정보를 노출하지 않고 핵심 성과 지표를 신중하게 평가할 수 있도록 합니다. 이 누출 제로 평가 방식은 AI 모델에 대한 새로운 신뢰 기준을 확립하는 동시에 상거래 효율성을 높이고 개발자의 지적 재산 보안을 보호합니다. 모델 가치의 가시성을 향상시킬 뿐만 아니라 AI 산업 전체의 투명성과 공정성을 향상시킵니다.
EXPchain 블록체인과의 긴밀한 통합
zkPyTorch는 Polyhedra Network가 독자적으로 개발한 EXPchain 블록체인 네트워크를 기본적으로 통합하여 신뢰할 수 있는 탈중앙화 AI 인프라를 공동으로 구축합니다. 이러한 통합은 스마트 컨트랙트 호출 및 온체인 검증을 위한 고도로 최적화된 경로를 제공하여 AI 추론 결과를 암호화된 방식으로 검증하고 블록체인에 영구적으로 저장할 수 있도록 합니다.
zkPyTorch와 EXPchain의 협업을 통해 개발자는 모델 배포, 추론 계산부터 체인상 검증까지 종단 간 검증 가능한 AI 애플리케이션을 구축하여 투명하고 신뢰할 수 있으며 감사 가능한 AI 컴퓨팅 프로세스를 구현하고 차세대 블록체인 + AI 애플리케이션에 대한 기반 지원을 제공할 수 있습니다.
미래 로드맵과 지속적인 혁신
Polyhedra는 다음 분야에 초점을 맞춰 zkPyTorch의 발전을 계속 추진할 것입니다.
오픈 소스와 커뮤니티 구축
제로 지식 머신 러닝 분야에서 글로벌 개발자 참여를 고취하고 협력적 혁신과 생태적 번영을 촉진하기 위해 zkPyTorch의 핵심 구성 요소를 점진적으로 오픈 소스화합니다.
모델 및 프레임워크 호환성 확장
주류 머신 러닝 모델과 프레임워크에 대한 지원을 확대하고, zkPyTorch의 적응성과 다양성을 더욱 향상시키며, 다양한 AI 워크플로에 유연하게 내장할 수 있도록 합니다.
개발 도구 및 SDK 빌드
실제 비즈니스 시나리오에서 zkPyTorch의 통합 프로세스를 단순화하고 배포 및 적용을 가속화하기 위해 포괄적인 개발 툴체인과 소프트웨어 개발 키트(SDK)를 출시합니다.
결론
zkPyTorch는 신뢰할 수 있는 AI의 미래를 향한 중요한 이정표입니다. 성숙한 PyTorch 프레임워크와 최첨단 영지식 증명 기술을 긴밀하게 통합함으로써 zkPyTorch는 머신러닝의 보안과 검증 가능성을 크게 향상시킬 뿐만 아니라 AI 애플리케이션의 배포 방식과 신뢰 경계를 혁신합니다.
Polyhedra는 안전한 AI 분야의 혁신을 지속적으로 심화하고, 개인정보 보호, 결과 검증 가능성 및 모델 준수 측면에서 머신 러닝을 더 높은 기준으로 촉진하고, 투명하고 신뢰할 수 있으며 확장 가능한 지능형 시스템을 구축하는 데 도움을 줄 것입니다.
최신 개발 내용을 지속적으로 공개하고 zkPyTorch가 보안 인텔리전스 시대의 미래를 어떻게 바꿀지 지켜보시기 바랍니다.
