인공 지능 분야의 Web3 사례 살펴보기
동기부여와 과제
현재 인공 지능 분야는 중앙 집중식, 폐쇄 소스, 과점 기술 거대 기업이 지배하고 있습니다. 소수의 회사가 최고 성능 모델을 제어하는데, 이는 모델 개발 및 추론을 용이하게 하는 극도의 중앙 집중화의 힘으로 인해 큰 부분을 차지합니다.
기계 학습 모델 생성에는 일반적으로 사전 훈련, 미세 조정, 추론의 세 가지 주요 단계가 포함됩니다. 이러한 단계는 새로운, 보이지 않는 데이터를 일반화하는 강력하고 정확한 모델을 개발하는 데 중요합니다.
사전 훈련 단계
사전 훈련 단계에서 모델은 대규모 범용 데이터 세트에 대해 훈련됩니다. 이 데이터 세트는 최종 모델이 수행할 작업과 관련이 없지만 모델이 다양한 기능과 패턴을 학습하는 데 도움을 주기 위한 것입니다. 예를 들어, 언어 모델의 경우 대규모 텍스트 말뭉치에서 언어 구조, 문법 및 광범위한 어휘를 학습하는 것이 포함될 수 있습니다. 여기서 목표는 텍스트, 이미지 또는 기타 형태의 데이터 등 처리될 데이터의 기본 구조를 잘 이해하는 모델을 개발하는 것입니다.
사전 훈련 단계에는 약간의 집중이 있습니다.
데이터 수집 및 정렬 - 사전 훈련 단계의 핵심은 문헌, 디지털 기사, 전문 데이터베이스를 포함한 다양한 소스에서 대규모 데이터 세트를 수집하는 것입니다. Google과 같은 업계 거대 기업은 역사적으로 사용자 생성 콘텐츠를 활용하여 비교할 수 없을 만큼 효율적인 모델을 구축해 왔으며, 이러한 관행은 오늘날에도 계속되고 있으며 Microsoft 및 OpenAI와 같은 기업은 독점 제휴 및 독점 플랫폼을 통해 최상위 데이터에 액세스할 수 있습니다. 이러한 역량이 소수 기업 내에 집중되면서 AI 산업에 상당한 집중이 이루어졌다.
또한 모델 훈련을 위해 독점적인 데이터 세트에 의존하면 중요한 윤리적 고려 사항이 발생하고 편견이 지속될 위험이 있습니다. AI 알고리즘은 본질적으로 기본 데이터에서 운영 패러다임을 도출하므로 쉽게 내장되고 복제될 수 있는 고유한 편견을 생성합니다. 이러한 상황은 모델이 공정하고 의도적인 패턴과 연관성을 반영하도록 개발 중에 신중한 검토와 윤리적 감독의 필요성을 강조합니다.
리소스 요구 사항 - 훈련 데이터의 양에 따라 모델 성능이 대수적으로 증가한다는 것이 확립되었습니다. 이는 가장 광범위한 GPU 컴퓨팅 주기의 이점을 활용하는 모델이 일반적으로 가장 잘 수행된다는 것을 나타냅니다. 이러한 역학은 주요 기술 및 데이터 회사가 누리는 규모의 경제와 생산성 이점에 힘입어 사전 훈련 단계에 중요한 중앙 집중화 효과를 도입합니다. 이러한 추세는 업계 거대 기업인 OpenAI, Google, Amazon, Microsoft 및 Meta의 지배력에서 분명하게 드러납니다. 이들 회사는 전 세계 데이터 센터의 대부분을 소유 및 운영하며 NVIDIA의 최신 및 최첨단 하드웨어에 액세스할 수 있습니다.
미세 조정 단계
모델이 사전 학습된 후 미세 조정이 수행됩니다. 이 단계에서 모델은 더 작은 작업별 데이터 세트에 대해 추가로 훈련됩니다. 목적은 사전 훈련 중에 모델이 학습한 가중치와 기능을 조정하여 현재 특정 작업에 더 적합하도록 만드는 것입니다. 여기에는 의학 용어를 이해하기 위해 언어 모델을 가르치거나 다양한 종류의 새를 구별하기 위해 이미지 인식 모델을 훈련시키는 것이 포함될 수 있습니다.
미세 조정 단계를 통해 모델은 최종 사용자가 관심 있는 작업에 집중하고 성능을 향상할 수 있습니다. 다시 말하지만, 미세 조정 단계에는 몇 가지 집중적인 노력이 있으며, 그 중 가장 중요한 것은 비공개 소스 모델과 검증 가능성입니다.
미세 조정 단계에서는 모델의 매개변수가 개선되고 설정되어 기능과 성능이 형성됩니다. OpenAI의 GPT 제품군 및 Google의 Gemini와 같은 독점 AI 모델을 향한 일반적인 추세는 이러한 모델의 내부 작동 및 매개 변수가 공개되지 않음을 의미합니다. 따라서 사용자가 추론을 요청할 때 실제로 상호 작용하고 있다고 생각하는 모델에서 응답이 나오는지 확인할 수 없습니다.
이러한 투명성 부족은 특히 신뢰와 검증 가능성이 중요한 경우 사용자에게 해로운 영향을 미칠 수 있습니다. 예를 들어 의료 분야에서 인공지능 모델은 질병을 진단하거나 치료법을 추천하는 데 도움이 될 수 있지만 의사는 모델 추론의 출처와 정확성을 확인할 수 없어 불신이나 심지어 오진으로 이어질 수 있습니다. 의료 전문가가 AI 권장 사항이 가장 신뢰할 수 있고 최신 모델을 기반으로 하는지 확신할 수 없다면 그 결과는 환자 치료 및 결과에 직접적인 영향을 미칠 수 있으며 AI 배포에 있어 투명성과 책임의 중요성이 강조됩니다.
추론 단계
추론단계는 모델이 실제로 적용되는 단계이다. 이 시점에서 모델은 훈련 및 미세 조정되었으며 새 데이터에 대한 예측을 할 준비가 되었습니다. AI 모델의 경우 이는 질문에 답변하거나, 언어를 번역하거나, 권장 사항을 제공하는 것을 의미할 수 있습니다. 이 단계는 훈련된 모델이 실제 문제에 적용되는 단계로, 일반적으로 모델의 가치가 구현되는 단계이다.
추론 단계에서 중앙 집중화를 유도하는 요소는 다음과 같습니다.
입장:AI 모델 액세스를 위한 중앙 집중식 프런트 엔드에는 사용자가 API 또는 추론에 액세스하지 못하게 할 수 있는 위험이 있을 수 있습니다. 소수의 개체가 이러한 포털을 제어하는 경우 정책 변경이나 분쟁을 비롯한 다양한 이유로 중요한 AI 서비스에 대한 액세스를 거부할 수 있습니다. 이러한 중앙 집중화는 AI 기술에 대한 보다 광범위하고 탄력적인 액세스를 보장하고 검열 및 불평등한 액세스의 위험을 완화하기 위한 분산형 접근 방식의 필요성을 강조합니다.
리소스 요구사항:특히 대량의 컴퓨팅 리소스가 필요한 작업의 경우 인공 지능에서 추론을 수행하는 데 드는 비용은 기술 산업 내에서 집중적인 힘이 되었습니다. 추론 비용이 높다는 것은 상당한 재정 자원을 갖춘 대기업만이 고급 AI 모델을 대규모로 실행할 여유가 있다는 것을 의미합니다. 이러한 재정적 장벽은 소규모 기업이나 개인 개발자가 최첨단 AI 기술을 활용하는 데 있어 모든 잠재력을 제한합니다.
그 결과, 소수의 강력한 플레이어가 상황을 점점 더 지배하게 되어 경쟁과 혁신이 저해되고 있습니다. 이러한 중앙 집중화는 AI 개발의 다양성에 영향을 미칠 뿐만 아니라 자금이 풍부한 소규모 조직으로 AI의 이점에 대한 접근을 제한하여 기술 생태계에 심각한 불균형을 초래합니다.
중앙 집중식 AI 공간에는 특히 Web2 회사의 발전과 관련하여 몇 가지 반복되는 주제가 등장하고 있습니다. 원래 개방형 네트워크로 설립된 이들 기업은 주주 가치 극대화에 초점을 맞추는 경우가 많습니다. 이러한 변화로 인해 그들은 종종 네트워크를 종료하고 알고리즘을 조정하여 사용자의 최선의 이익에 반하여 외부 링크를 차단하게 됩니다.
이러한 기업 인센티브와 사용자 요구 사항의 불일치는 조직이 성숙해지고 외부 자금을 받을 때 종종 발생합니다. 인공 지능 사용의 민주화를 목표로 비영리 단체로 출발한 OpenAI에서 이미 이러한 현상을 목격하고 있다는 사실은 업계의 초점 전환이 어떻게 나타날 수 있는지를 보여줍니다. 이러한 개별 회사를 비난하기는 쉽지만, 이는 기업 인센티브와 폭넓은 사용자 요구 사이의 불일치로 이어지는 기술 산업 내의 집중된 세력으로 인해 발생하는 시스템적 문제를 반영한다고 믿습니다.
가능한 미래: 인공 지능과 Web3
암호화폐 세계는 인공 지능의 기반을 제공하여 정보와 가치의 교환을 원활하고 개방적이며 안전하게 만듭니다. 블록체인 기술은 거래 관리 및 데이터 기록을 위한 명확하고 추적 가능한 시스템을 제공합니다. 암호화폐와 인공지능의 교차점에서는 두 분야가 서로를 향상시키고 서로의 역량을 활용하여 이익을 얻을 수 있는 많은 기회가 발생합니다.
동기 부여 정렬
분산 컴퓨팅은 모델 개발의 사전 훈련 및 미세 조정 단계에서 유용합니다. 기본 모델에는 많은 수의 GPU 컴퓨팅 주기가 필요한 경우가 많으며 이러한 프로세스는 일반적으로 중앙 집중식 데이터 센터에서 실행됩니다. DePIN(분산형 물리적 인프라 네트워크)은 분산형, 무허가 컴퓨팅 액세스를 제공할 수 있습니다. 암호화폐의 경제적 인센티브를 통해 소프트웨어는 중앙 관리 주체 없이도 하드웨어 사용량을 자율적으로 보상할 수 있습니다. 이를 통해 네트워크 사용자는 네트워크를 제어하고 인센티브를 조정하며 데이터 및 모델 제공자가 적절하게 보상받을 수 있도록 보장할 수 있습니다.
검증가능성
현재 AI 인프라는 독점 모델에 크게 치우쳐 있으며 사용자는 특정 모델을 통해 쿼리를 실행하고 합법적인 출력을 생성하기 위해 추론 공급자를 신뢰해야 합니다. 이러한 맥락에서 암호화 증명 시스템은 블록체인에서 모델 출력을 검증하는 메커니즘을 제공하는 핵심 기술로 부상했습니다. 이 프로세스를 통해 사용자는 합의된 모델을 사용하여 추론 제공자가 처리한 쿼리를 제출한 후 암호화 증명이 포함된 출력을 생성할 수 있습니다. 이 증명은 쿼리가 실제로 지정된 모델에 의해 처리되었음을 입증할 수 있는 증거로 사용됩니다.
이러한 이니셔티브의 주요 목표는 무거운 계산 작업을 오프체인 환경으로 오프로드하는 동시에 결과를 온체인에서 확인할 수 있도록 하는 것입니다. 이 접근 방식은 블록체인의 계산 부담을 줄일 뿐만 아니라 오프체인 계산의 정확성과 완전성에 대한 불변의 증거를 제공함으로써 투명성과 신뢰성의 계층을 도입합니다.
이러한 암호화 증명을 AI 모델 검증 프로세스에 통합하면 비공개 소스 AI 시스템과 관련된 몇 가지 주요 문제가 해결됩니다. 불투명하거나 검증되지 않은 계산의 위험을 완화하고, 계산 프로세스의 무결성을 향상시키며, 사용자와 추론 제공자 간의 신뢰 기반 관계를 촉진합니다. 또한, 이 접근 방식은 블록체인 기술의 기본 원칙을 반영하여 분산되고 투명한 시스템을 향한 광범위한 추세와 일치합니다.
구성 가능성
분산형 금융 및 블록체인 네트워크의 주요 장점 중 하나는 구성 가능성입니다. 결합 가능성은 DeFi에서 “화폐적 LEGO”의 광범위한 사용을 허용합니다. 즉, 다양한 프로토콜과 출력을 결합하여 새로운 애플리케이션을 만드는 것입니다. 이 모듈성은 시스템에 새로운 형태의 위험을 도입하는 동시에 개발자를 위한 애플리케이션 개발을 단순화하고, 혁신과 개발 속도를 높이며, 보다 단순한 사용자 경험과 편의성을 제공합니다.
암호화폐가 금융 상품에 결합성을 제공하는 것과 유사하게, AI 모듈이 독립적으로 구축되고 작동할 수 있는 무허가 및 무신뢰 계층 역할을 함으로써 AI 네트워크 및 애플리케이션에 대한 결합성을 생성하는 동시에 다른 모듈과 상호 연결되어 네트워크를 형성합니다. 다양한 서비스를 제공할 수 있습니다. 블록체인 네트워크 효과와 암호화폐를 통해 분산형 인공지능 프로젝트와 애플리케이션을 서로 연결하여 인공지능의 전체 아키텍처를 완성할 수 있습니다.
예를 들어 Akash 또는 Filecoin 사전 처리된 데이터를 사용하여 Marlin, Gensyn 또는 Together를 사용하는 모델을 교육할 수 있습니다. 미세 조정 후 이러한 훈련된 모델은 Bittensor를 통해 사용자 쿼리(추론)에 응답할 수 있습니다. 더 복잡해 보이지만 최종 사용자는 하나의 프런트 엔드와만 상호 작용하면 되며, 개발자와 애플리케이션은 다양한 스택과 애플리케이션을 기반으로 구축함으로써 이점을 얻을 수 있습니다.
분산형 네트워크가 가능하게 하는 구성성의 또 다른 중요한 측면은 데이터 구성성입니다. 사용자가 자신이 생성하는 데이터를 소유하는 데 점점 더 관심을 갖고 다양한 AI 프로토콜 간에 데이터를 전달할 수 있는 능력을 요구함에 따라 데이터가 폐쇄된 환경으로 제한되지 않기를 요구할 것입니다. 분산형 및 오픈 소스 AI 애플리케이션은 데이터를 이동 가능하게 만듭니다.
데이터 보호
외부 데이터 및 개인 정보 보호 솔루션과 결합된 분산 컴퓨팅은 사용자에게 데이터에 대한 더 많은 자율성을 제공하므로 중앙 집중식 컴퓨팅보다 더 매력적인 옵션이 됩니다. 특히 FHE(완전 동형 암호화)와 같은 방법을 사용하면 데이터를 먼저 해독하지 않고도 암호화된 데이터에 대해 계산을 수행할 수 있습니다.
FHE를 사용하면 암호화된 데이터 세트를 사용하여 기계 학습 모델을 훈련할 수 있으며 훈련 프로세스 전반에 걸쳐 데이터를 비공개로 안전하게 유지할 수 있습니다. 이는 강력한 암호화 보장을 갖춘 엔드투엔드 보안 솔루션을 제공하여 에지 네트워크에서 개인정보 보호 모델 교육을 허용하고 사용자 개인정보를 보호하고 고급 AI 기능을 활용하는 AI 시스템을 개발할 수 있도록 해줍니다.
FHE의 역할은 클라우드 환경의 암호화된 데이터에서 대규모 언어 모델을 안전하게 실행하는 것으로 확장됩니다. 이는 사용자의 개인정보와 민감한 정보를 보호할 뿐만 아니라 고유한 개인정보 보호 기능을 갖춘 애플리케이션에서 모델을 실행하는 기능도 향상시킵니다. 다양한 분야, 특히 금융 등 민감한 분야에 인공지능이 통합되면서 잠재적인 정보 유출을 방지할 수 있는 완전동형암호와 같은 기술의 필요성이 중요해졌습니다.
자동 업그레이드 기능
AI는 다양한 변화와 조건에 따라 스마트 계약을 유지, 업데이트 및 자동 업그레이드하는 데 사용될 수 있습니다. 예를 들어, 위험 및 기타 시장 상황의 변화에 따라 위험 매개변수를 조정하기 위해 프로토콜 측면에서 AI를 사용할 수 있습니다. 일반적인 예는 통화 시장입니다. 머니마켓은 현재 대출 자산의 위험 매개변수를 조정하기 위해 외부 조직이나 DAO 결정에 의존하고 있습니다. AI 에이전트는 특정 매개변수의 업데이트 및 업그레이드를 단순화할 수 있습니다. 이는 느리고 비효율적일 수 있는 인간 및 DAO 조직에 비해 상당한 개선이 될 것입니다.
분산형 인공지능의 과제
분산형 AI는 특히 암호화의 오픈 소스 특성과 AI의 보안 문제 및 AI의 컴퓨팅 요구 사이의 균형을 맞추는 데 있어 고유한 과제에 직면해 있습니다. 암호화에서 오픈 소스는 보안을 보장하는 데 중요하지만 인공 지능 분야에서는 모델이나 해당 교육 데이터를 노출하면 적대적인 기계 학습 공격의 위험이 높아집니다. 이 두 가지 기술을 사용하여 애플리케이션을 개발하는 것은 상당한 과제를 안겨줍니다. 또한, 인공지능 기반 차익거래 봇, 예측 시장, 의사결정 메커니즘 등 블록체인에 인공지능을 적용하는 것은 공정성과 조작의 문제를 제기합니다. AI는 이러한 영역에서 효율성과 의사결정을 향상시킬 수 있는 잠재력을 가지고 있지만, AI가 인간 중심 시장 역학의 미묘한 차이를 완전히 파악하지 못해 의도하지 않은 결과를 초래할 위험이 있습니다.
또 다른 관심 분야는 인공 지능을 암호화 응용 프로그램의 인터페이스로 사용하는 것입니다. AI는 사용자가 복잡한 암호화폐 세계를 탐색하는 데 도움을 줄 수 있지만, 적대적인 입력에 취약하거나 사용자가 중요한 결정을 내리기 위해 AI에 지나치게 의존하게 만드는 등의 위험도 수반합니다. 또한 DAO나 스마트 계약과 같은 블록체인 애플리케이션의 규칙에 인공 지능을 통합하는 것과 관련된 위험이 있습니다. 적대적 기계 학습은 인공 지능 모델의 약점을 악용하여 조작되거나 잘못된 결과를 초래할 수 있습니다. AI 모델이 정확하고 사용자 친화적이며 조작에 면역이 되도록 보장하는 것은 중요한 과제입니다.
더욱이 인공 지능을 영지식 증명 또는 다자간 계산과 결합하는 것은 계산 집약적일 뿐만 아니라 높은 계산 비용, 메모리 제한 및 모델 복잡성과 같은 장애물에 직면합니다. 영지식 기계 학습(zkML)을 위한 도구와 인프라는 현재 아직 개발되지 않았으며 이 분야에는 숙련된 개발자가 부족합니다. 이러한 요인으로 인해 zkML을 소비자 제품에 적합한 규모로 구현하려면 상당한 양의 작업이 필요합니다.
요약
특히 AI가 신뢰할 수 있는 하드웨어 또는 특정 데이터 거버넌스 모델을 사용하는 경우 블록체인의 분산 정신을 유지하고 AI 시스템의 신뢰성을 보장하면서 분산화와 신뢰의 균형을 맞추는 것이 특히 중요합니다. 이 기사의 다음 부분에서는 분산형 AI를 지원할 수 있는 기술과 이를 가능하게 하는 Marlin 인프라의 중요한 역할에 대해 자세히 알아보겠습니다.
2부: 구현 기술 개요
이 기사의 이전 부분에서는 중앙 집중식 AI의 단점과 Web3가 이러한 문제를 어떻게 완화할 수 있는지 살펴보았습니다. 그러나 가스 비용이 매우 높기 때문에 온체인 모델을 실행하는 것은 불가능합니다. 기본 블록체인의 컴퓨팅 성능을 높이려는 시도는 검증인에 대한 노드 요구 사항을 증가시키며, 이는 소규모 홈 검증인이 직면하게 될 어려움으로 인해 분산화가 줄어들 수 있습니다.
다음 장에서는 영지식 증명(ZKP), 완전 동형 암호화(FHE), 신뢰할 수 있는 실행 환경(TEE) 등 Web3에서 인공 지능을 더욱 발전시키는 데 필요한 몇 가지 널리 사용되는 도구와 기술을 소개합니다.
ZKP와 ZKML
영지식 증명(ZKP)은 확장성과 개인 정보 보호를 향상시킬 수 있기 때문에 인공 지능과 Web3에 특히 중요합니다. 이를 통해 오프체인에서 계산을 수행한 다음 온체인에서 검증할 수 있습니다(검증 계산). 이는 블록체인의 모든 노드에서 계산을 다시 실행하는 것보다 훨씬 효율적이므로 네트워크 부하를 줄이고 더 복잡한 작업을 가능하게 합니다. zkML을 사용하면 AI 모델이 온체인 환경에서 실행될 수 있습니다. 이를 통해 이러한 오프체인 계산 결과를 신뢰할 수 있고 검증할 수 있습니다.
또한 zkML은 예측을 위해 특정 모델이 사용되었는지 확인하거나 모델이 특정 데이터 세트에 대해 훈련되었는지 확인하는 등 기계 학습 프로세스의 특정 측면을 확인할 수 있습니다. zkML은 계산 프로세스를 검증하는 데에도 사용할 수 있습니다. 예를 들어, 컴퓨팅 제공업체는 검증 가능한 증거를 통해 데이터 처리에 올바른 모델을 사용했음을 입증할 수 있습니다. 이는 Akash와 같은 분산형 컴퓨팅 제공업체에 의존하고 계산의 정확성과 무결성을 보장하려는 개발자에게 특히 중요합니다.
zkML은 데이터에 대해 모델을 실행해야 하지만 데이터를 비공개로 유지하려는 사용자에게도 유용합니다. 그들은 자신의 데이터에 대해 모델을 실행하고 증거를 생성한 후 데이터의 개인정보 보호를 손상시키지 않고 올바른 모델의 사용을 확인할 수 있습니다.
FHE
앞서 언급했듯이 FHE(완전 동형 암호화)를 사용하면 암호화된 데이터를 먼저 해독하지 않고도 암호화된 데이터에 대해 직접 계산을 수행할 수 있습니다. 이 기술은 인공 지능 분야, 특히 기계 학습 및 민감한 데이터 처리 분야에서 중요한 응용 분야를 가지고 있습니다.
FHE의 주요 응용 프로그램 중 하나는 암호화된 데이터 세트를 사용하여 기계 학습 모델을 교육하는 것입니다. 이 접근 방식을 사용하면 훈련 프로세스 전반에 걸쳐 데이터가 암호화되고 안전하게 유지됩니다. 결과적으로 FHE는 기계 학습 프로세스의 처음부터 끝까지 데이터를 비공개로 유지하는 포괄적인 보안 솔루션을 제공합니다. 이는 데이터 보안과 개인 정보 보호가 중요하고 컴퓨팅 리소스가 중앙 집중식 데이터 센터보다 더 제한되는 엣지 네트워크에서 특히 중요합니다.
완전 동형 암호화 기술을 사용하면 인공 지능의 고급 기능을 최대한 활용하면서 사용자 개인 정보를 보호하는 시스템을 개발할 수 있습니다. FHE(완전 동형 암호화)는 저장 및 처리 중에 데이터가 암호화된 상태로 유지되도록 함으로써 무단 액세스 및 데이터 유출에 대한 강력한 암호화 보장을 제공합니다. 이는 의료 애플리케이션의 개인 데이터나 기밀 재무 기록과 같은 민감한 정보가 처리되는 시나리오에서 특히 중요합니다.
FHE(완전 동형 암호화)는 클라우드 환경에서 대규모 언어 모델을 실행하는 데까지 유틸리티를 확장합니다. FHE(Fully Homomorphic Encryption)는 이러한 모델이 암호화된 데이터를 처리할 수 있도록 함으로써 사용자 개인정보와 민감한 정보를 보호합니다. 점점 더 많은 AI 애플리케이션이 클라우드 환경에 배포되고 데이터 보안이 중요한 문제가 되면서 이 기능은 점점 더 중요해지고 있습니다. 암호화된 데이터에서 모델을 안전하게 실행하는 기능은 법률, 의료, 금융 산업과 같이 엄격한 기밀이 요구되는 분야에서 AI의 적용 가능성을 향상시킵니다.
FHE(완전 동형 암호화)는 잠재적인 정보 유출 및 무단 액세스로부터 중요한 데이터를 보호해야 하는 중요한 요구 사항을 해결합니다. 데이터 개인 정보 보호가 단순한 선호 사항이 아니라 규제 요구 사항인 영역에서 FHE(완전 동형 암호화)는 데이터 보안 및 규정 준수 표준을 손상시키지 않고 인공 지능을 활용할 수 있는 방법을 제공합니다.
TEE
TEE(신뢰할 수 있는 실행 환경)는 특히 보안 보증, 격리, 데이터 개인 정보 보호 및 보호 측면에서 인공 지능 추론을 훈련하고 실행하는 데 상당한 이점을 제공합니다. TEE는 안전한 격리 환경 역할을 하기 때문에 데이터 및 계산에 강력한 보안과 무결성을 제공합니다.
첫 번째 주요 이점은 안전과 보안에 대한 보장이 강화된다는 것입니다. TEE는 운영 체제 커널, 장치 드라이버 및 라이브러리를 포함하여 광범위한 TCB(신뢰할 수 있는 컴퓨팅 기반)가 있는 시스템의 취약성을 방지하도록 특별히 설계되었습니다. 이러한 구성 요소는 공격 표면이 더 크기 때문에 더 취약합니다. TEE는 안전한 실행 환경을 제공함으로써 중요한 애플리케이션을 보호하고 호스트 운영 체제가 손상되더라도 해당 구획 내 소프트웨어의 무결성과 기밀성을 유지합니다.
또 다른 주요 이점은 격리입니다. 격리 내에는 코드와 데이터가 안전하게 저장되며 격리 내 코드를 통해서만 액세스할 수 있습니다. 이 설계는 다른 가상 머신이나 하이퍼모니터를 포함한 외부 액세스를 방지하여 다른 가상 머신의 물리적 공격과 위협으로부터 보호합니다.
TEE(신뢰할 수 있는 실행 환경)는 소프트웨어가 실제 TEE 내에서 실행되고 있는지 확인하기 위한 원격 확인 프로세스를 용이하게 합니다. 이 기능은 비무장지대 내에서 실행되는 소프트웨어의 신뢰성과 무결성을 보장하는 데 중요합니다. 이는 원격 엔터티와 신뢰할 수 있는 실행 환경 사이에 신뢰를 구축하여 소프트웨어와 해당 실행 환경이 안전하고 변조되지 않았음을 보장합니다.
마지막으로 TEE는 데이터 보호에 탁월합니다. TEE의 하드웨어 구현 보안 기능은 계산의 기밀성과 무결성을 보호합니다. 여기에는 코드 및 데이터(예: 키)를 격리 장소로 안전하게 전달하는 것이 포함됩니다. 또한 TEE는 계산 결과 및 출력을 검색하기 위한 신뢰할 수 있는 통신 채널을 설정하여 데이터가 엔클레이브 내 수명 주기 동안 안전하게 유지되도록 보장합니다. 이러한 특성으로 인해 TEE는 특히 높은 수준의 보안과 데이터 무결성이 필요한 애플리케이션에서 AI 교육 및 AI 추론 수행에 이상적인 환경이 됩니다.
Marlin Oyster
Marlin Oyster는 개발자가 맞춤형 컴퓨팅 작업을 배포하거나 신뢰할 수 있는 실행 환경을 제공할 수 있는 개방형 플랫폼입니다. Intel의 SGX 및 AWS의 Nitro Enclaves와 유사합니다. Oyster를 사용하면 개발자는 격리된 환경에서 코드를 실행할 수 있으며 호스트나 그 안에 있는 다른 애플리케이션이 신뢰할 수 있는 실행 환경에서 계산의 무결성을 변경할 수 없도록 할 수 있습니다. TEE(신뢰할 수 있는 실행 환경)에서 제공하는 계산 무결성 및 기밀성 보장 외에도 Oyster 플랫폼은 다음과 같은 추가 이점을 제공합니다.
가동 시간:Oyster는 가동 중지 시간을 줄이고 작업을 정상 노드에 재분배하는 모니터링 프로토콜을 통해 애플리케이션 가용성을 보장합니다. 이 메커니즘을 통해 Oyster에 배포하는 개발자는 최종 사용자에게 지속적인 애플리케이션 기능과 활력을 제공할 수 있습니다.
서버리스:AWS Lambda와 유사하게 Oyster의 서버리스 프레임워크를 사용하면 개발자는 특정 노드를 전용으로 임대하지 않고도 애플리케이션을 배포할 수 있습니다. 개발자는 애플리케이션이 실행되는 시간에 대해서만 비용을 지불함으로써 비용을 절감하고 관리 오버헤드를 줄입니다.
회로망:Oyster 게토에는 게토 내 보안 TLS 연결 설정을 용이하게 하는 네트워킹 기능이 사전 구성되어 있습니다. 이 기능을 사용하면 엔드포인트가 노출된 서비스에서 외부 API 쿼리 및 작업을 실행할 수 있어 인터넷과의 애플리케이션 통합이 향상됩니다.
계전기:Oyster는 릴레이 계약을 통해 처리하기 위해 계산 집약적인 작업을 오프체인 환경으로 이전하는 것을 지원합니다. 이러한 스마트 계약을 통해 Oyster에서 기능을 실행할 수 있어 신뢰할 수 있는 결과와 이벤트 기반 응답을 보장하여 온체인 리소스 사용을 최적화할 수 있습니다.
기준
zkML 프레임워크와 TEE ML(Oyster) 간의 벤치마크 비교에서 성능 지표는 Oyster가 더 효율적이라는 것을 나타냅니다. 특히 Oyster 프레임워크는 테스트된 모든 기계 학습 모델에서 총 계산 시간이 훨씬 더 낮습니다.
Iris 데이터에 대한 일반 최소 제곱 모델의 경우 zkML 프레임워크(RisQ)는 증명 및 검증에 32초 이상이 소요되는 반면, Oyster는 작업을 완료하는 데 0.047초만 소요됩니다. 마찬가지로 동일한 데이터세트에서 500개의 입력에 대해 zkML(EZKL 프레임워크)을 사용하는 신경망의 총 시간은 212초가 넘는 반면 Oyster는 0.045초만 걸렸습니다. 처리 시간의 이러한 상당한 차이는 이러한 상황에서 Oyster가 더 효율적이라는 것을 시사합니다.
MNIST 데이터세트에서 LeNet 모델은 이러한 관찰을 더욱 심화시킵니다. EZKL의 zkML 프레임워크는 확인하고 증명하는 데 60초가 걸리는 반면 Oyster는 0.056초만 걸립니다. DDKang의 zkML 프레임워크는 전체 시간이 약 3.33초로 EZKL보다 성능이 뛰어나지만 여전히 Oyster의 0.056초만큼 좋지 않습니다.
전반적으로 데이터는 Oyster가 테스트된 zkML 프레임워크에 비해 기계 학습 작업에 더 효율적인 솔루션을 제공한다는 것을 보여줍니다. 더 빠른 계산 시간은 제시된 벤치마크의 경우 Oyster가 훨씬 더 짧은 처리 시간에 동일한 작업을 처리할 수 있어 효율성과 속도 측면에서 이점을 제공한다는 것을 보여줍니다.
검증 가능한 분산형 AI를 널리 채택하려면 오프체인 암호화 검증 시스템이 최소 제곱 계산과 같은 단순한 작업을 수행하는 것 이상이어야 합니다. 필요한 주요 발전은 보다 복잡한 작업, 특히 널리 사용되는 LLM을 통해 효율적으로 프롬프트를 실행하는 능력을 처리하는 능력입니다. 이를 위해서는 최신 LLM의 복잡하고 리소스 집약적인 요구 사항을 처리하기 위해 향상된 컴퓨팅 성능, 알고리즘 효율성 및 확장성이 필요하며 분산된 프레임워크 내에서 더욱 복잡하고 다양한 AI 애플리케이션을 활성화할 수 있습니다. zkML 프레임워크는 아직 초기 단계에 있으며, 이 단계에서는 zk 증명 생성이 계산 집약적인 작업이기 때문에 이러한 단서를 처리하는 능력이 심각하게 저하됩니다.
zkML 프로토콜이 LLM을 처리하는 것으로 표시되지는 않았지만 Oyster의 신뢰할 수 있는 TEE와 이러한 zkML 프레임워크 간의 처리 시간 차이가 적어도 이전에 논의된 예만큼 중요하다고 가정하는 것이 합리적입니다. Marlins Oyster를 사용하면 다양한 LLM에 대한 벤치마크 결과를 확립할 수 있습니다.
평가 횟수: 응답의 토큰 수 평가 기간: 응답을 생성하는 데 걸린 나노초
Oyster 내 GPT2-XL 벤치마크 결과:
격리 구성: CPU 12개, 메모리 28GB(c6a.4xlarge)
팁: 이더리움은 커뮤니티가 운영하는 기술입니다.
결과: Ethereum은 인터넷이 작동할 수 있도록 하는 커뮤니티 운영 기술입니다. Linux가 컴퓨터에 했던 것처럼 Ethereum은 미래에 인터넷을 강화할 것입니다.
출력을 생성하는 데 걸린 시간: 22.091819524765015초
초당 마크 수: 1.6295624703815754초
2부: 결론
AI 기술의 개발 및 배포는 고급 하드웨어와 정교한 모델을 갖춘 소수의 대기업에 의해 점점 더 주도되고 있습니다. 이러한 집중 수준은 검열, 본질적인 편견, AI 시스템의 무결성 및 공정성 검증에 대한 우려를 불러일으킵니다. 반면 암호화폐의 기본 원칙, 즉 무허가성과 검열 저항성은 AI 기술을 민주화하는 길을 제시합니다.
블록체인 기술의 분산형 및 오픈 소스 특성으로 인해 분산형 인공지능이 중앙화된 상대와 경쟁할 수 있습니다. 이는 DePIN, 암호화 증명, 공개 및 개인 키 동등 메커니즘의 사용을 통해 달성되며, 이는 AI의 안전하고 투명하며 공정한 개발 및 사용을 함께 보장합니다. 특히 블록체인 생태계에서 분산형 인공지능의 잠재력을 최대한 실현하려면 강력한 오프체인 컴퓨팅 인프라가 필요합니다. 이는 복잡한 AI 작업을 효율적이고 정확하며 검증 가능하게 처리하는 데 중요합니다.
현재 TEE(신뢰할 수 있는 실행 환경)는 이러한 요구 사항을 충족하는 가장 실현 가능한 솔루션으로 떠오르고 있습니다. TEE는 안전하고 격리된 코드 실행 공간을 제공하여 처리 중인 데이터의 기밀성과 무결성을 보호합니다. 이는 AI 애플리케이션용 블록체인에 필요한 오프체인 컴퓨팅을 위한 최고의 선택이 됩니다. 분야가 발전함에 따라 zkML, FHE와 같은 기술의 발전과 TEE(신뢰할 수 있는 실행 환경)의 개선은 분산형 AI 생태계가 현재의 한계를 극복하는 데 매우 중요할 것입니다. 이 개발은 암호화폐 커뮤니티의 분산화 철학에 부합하는 보다 개방적이고 접근 가능하며 안전한 인공 지능 분야를 촉진할 것입니다.
