원본 출처:Filecoin Network

편집자 주: 이 기사는 주로 파리에서 열린 2023 Filecoin Unleashed 컨퍼런스에서 David Aronchick의 연설을 기반으로 합니다.연설. 데이비드는ExpansoProtocol Labs의 CEO이자 전 데이터 컴퓨팅 책임자입니다.Bacalhau프로젝트 시작. 이 기사는 원본 콘텐츠 작성자의 독립적인 의견을 나타내며 재게시 권한이 부여되었습니다.

~에 따르면IDC보고서에 따르면 2025년에는 전 세계적으로 저장되는 데이터의 양이 175ZB를 초과할 것으로 예상됩니다. 이는 1GB USB 드라이브 175조 개에 해당하는 엄청난 양의 데이터입니다. 이 데이터의 대부분은 2020년에서 2025년 사이에 생성되었으며 예상 CAGR은 61%입니다.

오늘날 빠르게 성장하는 데이터 환경에서는 두 가지 주요 과제가 발생합니다.

• 모바일 데이터는 느리고 비용이 많이 듭니다.현재 대역폭으로 175ZB의 데이터를 다운로드하려고 하면 약 18억년이 걸립니다.

• 규정 준수 작업은 번거롭습니다.전 세계에는 수백 개의 데이터 관련 규정이 있어 관할권 간 규정 준수 작업이 거의 불가능합니다.

약한 네트워크 성장과 규제 제약이 결합된 결과는 다음과 같습니다.기관 데이터의 약 68%유휴 상태입니다. 그렇기 때문에 데이터가 계산되는 위치로 데이터를 이동하는 것보다 데이터가 저장되는 위치(광범위하게 데이터 대비 컴퓨팅이라고 함)로 컴퓨팅 리소스를 이동하는 것이 중요합니다.Bacalhau및 기타 데이터 계산(CoD) 플랫폼이 개발 중입니다.

다음 장에서는 다음을 간략하게 소개하겠습니다.

• 오늘날 조직이 데이터를 처리하는 방법.

• 데이터 컴퓨팅을 기반으로 대체 솔루션을 제안합니다.

• 마지막으로 분산 컴퓨팅이 중요한 이유를 가정해 보세요.

현상 유지

현재 조직이 데이터 처리 문제를 처리하는 세 가지 주요 방법이 있지만 어느 것도 이상적이지 않습니다.

중앙 집중식 시스템을 사용하세요

가장 일반적인 접근 방식은 대규모 데이터 처리를 위해 중앙 집중식 시스템을 사용하는 것입니다. Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray 등과 같은 컴퓨팅 프레임워크를 결합하여 중앙 집중식 API 서버에 연결된 클러스터 시스템 네트워크를 형성하는 조직을 자주 볼 수 있습니다. 그러나 이러한 시스템은 데이터 이동성과 관련된 네트워크 침해 및 기타 규제 문제를 효과적으로 해결할 수 없습니다.

이는 데이터 위반으로 인해 수십억 달러의 행정 벌금 및 벌금이 부과되는 기관에 부분적으로 책임이 있습니다.

직접 만들어 보세요

또 다른 접근 방식은 개발자가 대행사에 필요한 인식과 견고성을 갖춘 맞춤형 조정 시스템을 구축하는 것입니다. 이 접근 방식은 참신하지만 시스템을 유지하고 운영하는 데 소수의 사람에게 지나치게 의존하기 때문에 실패의 위험에 직면하는 경우가 많습니다.

아무것도하지 마세요

놀랍게도 대부분의 경우 기관에서는 데이터를 사용하지 않습니다. 예를 들어 도시에서는 매일 감시 영상을 통해 대량의 데이터를 수집할 수 있지만 비용이 많이 들기 때문에 이 데이터는 로컬 시스템에서만 볼 수 있고 보관하거나 처리할 수 없습니다.

진정한 분산 컴퓨팅 구축

데이터 처리 문제점에 대한 두 가지 주요 솔루션이 있습니다.

솔루션 1: 오픈 소스 데이터 컴퓨팅 플랫폼을 기반으로 구축

솔루션 1: 오픈 소스 데이터 컴퓨팅 플랫폼

개발자는 앞서 언급한 사용자 정의 조정 시스템 대신 계산을 위해 오픈 소스 분산 데이터 플랫폼을 사용할 수 있습니다. 플랫폼은 오픈 소스이고 확장 가능하기 때문에 기관에서는 필요한 구성 요소만 구축하면 됩니다. 이 설정은 다중 클라우드, 다중 컴퓨팅, 비데이터 센터 시나리오를 충족하고 복잡한 규제 환경을 탐색할 수 있습니다. 중요한 것은 오픈 소스 커뮤니티에 대한 액세스가 더 이상 시스템 유지 관리를 위해 한 명 이상의 개발자에게 의존하지 않으므로 실패 가능성이 줄어드는 것입니다.

솔루션 2: 분산 데이터 프로토콜을 기반으로 구축

Bacalhau 및 Lilypad와 같은 고급 컴퓨팅 프로젝트의 도움으로 개발자는 한 단계 더 나아가 솔루션 1에서 언급한 오픈 소스 데이터 플랫폼뿐만 아니라 Filecoin 네트워크와 같은 진정한 분산 데이터 프로토콜에서도 시스템을 구축할 수 있습니다.

솔루션 2: 분산 데이터 컴퓨팅 프로토콜

이는 기관이 사용자 문제를 보다 세부적인 방식으로 조정하고 설명하는 방법을 이해하는 분산 프로토콜을 사용하여 데이터가 생성되고 저장되는 곳과 가까운 컴퓨팅 영역을 잠금 해제할 수 있음을 의미합니다. 데이터 센터에서 분산 프로토콜로의 전환은 이상적으로는 데이터 과학자의 경험을 약간만 변경하여 수행할 수 있습니다.

분산은 선택이 최대화됨을 의미합니다.

Filecoin 네트워크와 같은 분산 프로토콜을 배포함으로써 우리의 비전은 사용자가 동일한 네트워크의 서로 다른 지역에 분산된 수백(또는 수천) 개의 기계에 액세스하고 다른 기계와 동일한 프로토콜 규칙을 따를 수 있다는 것입니다. 이는 본질적으로 데이터 과학자에게 네트워크에 다음을 요청할 수 있는 다양한 옵션을 제공합니다.

• 전 세계 어디에서나 데이터세트를 선택하세요.

• HIPAA, GDPR, FISMA 등 모든 거버넌스 구조를 준수합니다.

• 최대한 저렴하게 운영하세요.

Juans Triangle - 약어 디코딩: FHE(완전 동형 암호화), MPC(다자간 컴퓨팅), TEE(신뢰할 수 있는 실행 환경), ZKP(영지식 증명)

옵션 극대화의 개념에 대해 이야기하자면, 프로토콜 랩스(Protocol Labs)의 창립자가 만든 용어인 후안의 삼각형(Juans Triangle)을 언급해야 합니다.후안 베넷이 설명합니다.다양한 분산 컴퓨팅 네트워크에서 다양한 사용 사례(미래)가 지원되는 이유를 설명하기 위해 만들어졌습니다.

Juan Triangle은 컴퓨팅 네트워크가 개인 정보 보호, 검증 가능성 및 성능 간의 균형을 요구하는 경우가 많으며 기존의 모든 용도에 맞는 접근 방식은 모든 사용 사례에 적용하기 어렵다고 제안합니다. 대신, 분산 프로토콜의 모듈식 특성으로 인해 다양한 분산 네트워크(또는 하위 네트워크)가 개인 정보 보호, 검증 가능성 또는 성능 등 다양한 사용자 요구 사항을 충족할 수 있습니다. 궁극적으로 우리는 중요하다고 생각하는 것을 기반으로 최적화합니다. 그때에는 이러한 격차를 메우고 분산 컴퓨팅을 현실로 만들기 위해 많은 파티 서비스 제공업체(삼각형 안의 상자에 표시)가 있을 것입니다.

전체적으로,데이터 처리는 즉시 사용 가능한 솔루션이 필요한 복잡한 문제입니다. 전통적인 중앙 집중식 시스템을 오픈 소스 데이터 컴퓨팅으로 교체하는 것이 좋은 첫 번째 단계입니다. 궁극적으로 Filecoin 네트워크와 같은 분산 프로토콜에 컴퓨팅 플랫폼을 배포하면 사용자의 개별 요구에 따라 컴퓨팅 리소스를 자유롭게 구성할 수 있으며 이는 빅데이터 및 인공 지능 시대에 매우 중요합니다.

주의해주세요CoD 실무 그룹, 분산 컴퓨팅 플랫폼에 대한 모든 최신 정보를 얻으십시오. Filecoin 생태계의 더 많은 발전을 위해 다음을 따르십시오.Filecoin 통찰력 블로그, 그리고 제발파일코인 인사이트 트위터、Bacalhau、Lilypad、Expanso게다가COD WG우리를 따라 오세요