Filecoin의 데이터 가용성에 대한 심층 분석
편집자 주: 이 기사는 Fenbushi Capital의 Turan Vural Yuminaga Yuki가 2024년 4월 5일에 게시한 원본 콘텐츠를 재인쇄했습니다. 2015년에 설립된 Fenbushi Capital은 자산 관리 규모가 16억 달러에 달하는 아시아 최고의 블록체인 자산 관리 회사입니다. 회사는 연구와 투자를 통해 다양한 산업 분야에 걸쳐 블록체인 기술의 미래를 형성하는 데 중요한 역할을 하는 것을 목표로 하고 있습니다. 이 기사는 이러한 노력의 한 예이며 여기에 출판되기로 동의한 저자의 독립적인 견해를 나타냅니다.
데이터 가용성(DA)은 관련 데이터를 호스팅할 필요 없이 노드가 네트워크에서 데이터를 사용할 수 있는지 효율적으로 확인할 수 있도록 하는 이더리움 확장의 핵심 기술입니다. 이는 롤링 및 기타 형태의 확장을 효율적으로 구축하는 데 중요하며, 실행 노드가 결제 중에 거래 데이터를 사용할 수 있도록 보장할 수 있습니다. 노드는 네트워크 샤드에 저장된 트랜잭션 데이터(또는 blob)가 실제로 네트워크에서 사용 가능하다는 것을 증명해야 하므로 이는 샤딩 및 기타 형태의 수평 확장(이더리움 네트워크에 대한 향후 계획된 업데이트)에도 중요합니다.
여러 DA 솔루션(예: Celestia, EigenDA, Avail)이 최근에 논의 및 출시되었으며, 모두 DA 게시를 위한 애플리케이션을 위한 고성능 보안 인프라를 제공한다는 목표를 가지고 있습니다.
이더리움과 같은 L1에 비해 외부 DA 솔루션의 장점은 온체인 데이터에 대한 저렴하고 고성능의 캐리어를 제공한다는 것입니다. DA 솔루션은 일반적으로 저비용의 무허가 스토리지를 가능하게 하도록 설계된 자체 퍼블릭 체인으로 구성됩니다. 수정하더라도 블록체인에서 기본적으로 데이터를 호스팅하는 것은 여전히 매우 비효율적입니다.
이를 고려하여 우리는 DA 계층의 기반으로 Filecoin과 같은 스토리지 최적화 솔루션을 탐색하는 것이 매우 직관적이라는 것을 알았습니다. Filecoin은 블록체인을 사용하여 사용자와 스토리지 제공자 간의 스토리지 트랜잭션을 조정하지만 데이터를 오프체인에 저장할 수 있습니다.
이 기사에서는 분산형 스토리지 네트워크(DSN) 위에 구축된 DA 솔루션의 타당성을 조사합니다. 우리는 Filecoin이 지금까지 가장 많이 채택된 DSN이기 때문에 특별히 고려했습니다. 우리는 그러한 솔루션이 가져올 기회와 이를 구축하기 위해 극복해야 할 과제에 대해 간략히 설명합니다.
DA 계층은 이에 의존하는 서비스에 다음 기능을 제공합니다.
1. 사용자 보안 : 어떤 노드도 사용할 수 없는 데이터가 사용 가능한지 확신할 수 없습니다.
2. 글로벌 보안 : 일부 노드를 제외한 모든 노드는 데이터의 가용성/비가용성에 동의합니다.
3. 효율적인 데이터 검색 기능.
이 모든 작업은 확장을 위해 효율적으로 수행되어야 합니다. DA 계층은 위의 세 가지 측면에서 더 낮은 비용으로 더 높은 성능을 제공합니다. 예를 들어, 모든 노드는 보관을 증명하기 위해 데이터의 전체 복사본을 요청할 수 있지만 이는 비효율적입니다. 위의 세 가지 사항을 갖춘 시스템을 제공함으로써 L1과의 L2 조정에 필요한 보안을 제공하고 악의적인 다수가 존재할 경우 더 강력한 하한을 제공하는 DA 계층을 구현합니다.
데이터 호스팅
DA 솔루션에 게시된 데이터에는 유효한 수명이 있습니다. 즉, 분쟁을 해결하거나 상태 전환을 검증할 수 있을 만큼 충분히 깁니다. 트랜잭션 데이터는 올바른 상태 전환을 확인하거나 검증자에게 사기 증명을 구성할 수 있는 충분한 기회를 제공할 수 있을 만큼만 사용 가능하면 됩니다. 이 글을 쓰는 시점에서 Ethereum calldata는 데이터 가용성(롤업)이 필요한 프로젝트에 가장 일반적으로 사용되는 솔루션입니다.
효율적인 데이터 검증
DAS(데이터 가용성 샘플링)는 DA 문제를 해결하기 위한 표준 접근 방식입니다. 네트워크 행위자가 동료로부터 상태 정보를 확인할 수 있는 능력을 향상시키는 추가적인 보안 이점이 있습니다. 그러나 샘플링을 수행하려면 노드에 의존합니다. 채굴 거래가 거부되지 않도록 DAS 요청에 응답해야 하지만 노드가 샘플을 요청하는 데 긍정적이거나 부정적인 인센티브는 없습니다. 요청하는 샘플 노드의 입장에서는 DAS를 실행하지 않는다고 해서 부정적인 페널티는 없습니다. 예를 들어, Celestia는 DAS의 최초이자 유일한 라이트 클라이언트 구현을 제공하여 사용자에게 더 강력한 보안 가정을 제공하고 데이터 검증 비용을 절감합니다.
효율적인 접근
DA는 이를 사용하는 프로젝트에 효율적인 데이터 액세스를 제공해야 합니다. 느린 DA는 이를 사용하는 서비스에 병목 현상을 일으켜 최소한 비효율성을 초래하고 최악의 경우 시스템 오류를 일으킬 수 있습니다.
분산형 스토리지 네트워크
Filecoin 백서에 설명된 분산형 스토리지 네트워크(DSN)는 네트워크 사용자에게 스토리지 서비스를 제공하는 스토리지 제공업체의 무허가 네트워크입니다. 비공식적으로는 독립 스토리지 제공업체가 스토리지 서비스가 필요한 사용자와 스토리지 거래를 조정하고 저렴한 스토리지 서비스를 찾는 사용자에게 저렴하고 탄력적인 데이터 스토리지를 제공할 수 있도록 해줍니다. 이는 거래를 기록, 저장하고 스마트 계약 실행을 지원하는 블록체인을 통해 조정됩니다.
DSN 체계는 Put, Get 및 Manage의 세 가지 프로토콜로 구성된 튜플입니다. 이 튜플에는 내결함성 보장 및 참여 인센티브와 같은 속성이 있습니다.
Put(데이터) → 키
고유 키에 데이터를 저장하기 위해 클라이언트는 Put을 수행합니다. 이는 데이터가 네트워크에 저장되는 기간, 중복성을 위해 저장된 데이터 사본 수 및 스토리지 제공자와 협상된 가격을 지정하여 수행됩니다.
Get(키)→데이터
클라이언트는 Get을 실행하여 키 아래에 저장된 데이터를 검색합니다.
관리하다
네트워크 참가자는 관리 프로토콜을 호출하여 공급자가 제공하는 스토리지 및 서비스를 조정하고 오류를 수정합니다. Filecoin의 경우 이는 블록체인을 통해 관리됩니다. 블록체인은 사용자와 데이터 제공자 간의 데이터 거래와 데이터의 올바른 저장에 대한 증거를 기록하여 데이터 거래가 유지되도록 보장합니다. 네트워크 문제에 대한 응답으로 데이터 공급자가 생성한 인증서를 게시하여 데이터가 올바르게 저장되었음을 증명합니다. 스토리지 오류는 스토리지 공급자가 관리 계약에서 요구하는 대로 적시에 복제 증명 또는 시공간 증명을 생성하지 못하여 스토리지 공급자의 형평성이 감소할 때 발생합니다. 여러 제공업체가 네트워크에서 데이터 사본을 호스팅하는 경우 스토리지 트랜잭션을 이행할 새 스토리지 제공업체를 찾아 트랜잭션을 자가 복구할 수 있습니다.
DSN 기회
지금까지 DA 프로젝트가 한 일은 블록체인을 핫 스토리지 플랫폼으로 바꾸는 것이었습니다. DSN은 스토리지에 최적화되어 있기 때문에 블록체인을 스토리지 플랫폼으로 전환하는 대신 스토리지 플랫폼을 데이터 가용성을 제공하는 플랫폼으로 간단히 전환할 수 있습니다. 네이티브 FIL 토큰 형태로 스토리지 제공업체가 제공하는 담보는 데이터 스토리지를 보장하는 암호화폐 보안을 제공합니다. 마지막으로, 스토리지 트랜잭션의 프로그래밍 가능성은 데이터 가용성 측면에서 유연성을 제공할 수 있습니다.
DSN 기능을 DA 문제 해결로 전환하려는 가장 강력한 동기는 DA 솔루션에서 데이터 저장 비용을 줄이는 것입니다. 아래에서 논의된 바와 같이 Filecoin에 데이터를 저장하는 비용은 Ethereum에 데이터를 저장하는 것보다 훨씬 저렴합니다. 현재 Ethereum/USD 가격을 고려하면 Ethereum에 1GB의 통화 데이터를 쓰는 데 300만 달러가 넘는 비용이 들고 21일 후에 삭제됩니다. 이 통화 데이터 수수료는 이더리움 기준 총 거래 비용의 절반 이상을 차지할 수 있습니다. 그러나 Filecoin의 1GB 스토리지 비용은 월 $0.0002 미만입니다. 이 가격 또는 유사한 가격으로 DA를 확보하면 사용자의 거래 비용을 줄이고 Web3의 성능과 확장성을 향상시키는 데 도움이 됩니다.
경제적 안정
Filecoin에서 저장 공간을 제공하려면 담보가 필요합니다. 공급자가 거래를 이행하지 않거나 네트워크 보증을 준수하지 못하는 경우 담보가 삭감됩니다. 서비스를 제공하지 못하는 스토리지 제공업체는 담보와 수익을 잃을 위험이 있습니다.
인센티브 메커니즘 조정
Filecoin 프로토콜의 인센티브 중 다수는 DA 목표와 일치합니다. Filecoin은 악의적이거나 게으른 행동을 방해하는 요소를 제공합니다. 합의 과정에서 스토리지 제공자는 정직한 다수를 가정하지 않고 스토리지의 존재를 지속적으로 증명하기 위해 복제 증명 및 시공간 증명의 형태로 스토리지 증명을 적극적으로 제공해야 합니다. 스토리지 제공업체가 증거를 제공하지 못하는 경우 권리가 축소되고 합의에서 제외되며 기타 처벌을 받게 됩니다. 현재 DA 솔루션은 노드가 DAS를 수행하는 데 대한 인센티브가 부족하며 DA를 증명하기 위해 일시적인 이타적 행동에만 의존할 수 있습니다.
프로그래밍 가능성
데이터 트랜잭션을 사용자 정의하는 기능도 DSN을 매력적인 DA 플랫폼으로 만듭니다. 데이터 트랜잭션은 기간이 다를 수 있으므로 DSN 기반 DA 사용자는 필요한 DA에 대해서만 비용을 지불할 수 있으며 네트워크 전체에 저장할 복제본 수를 설정하여 내결함성을 조정할 수도 있습니다. FEVM에서 실행되는 Filecoin의 스마트 계약(Actors)을 통해 추가 사용자 정의가 지원됩니다. 또한 Bacalhau와 같은 컴퓨팅 우선 스토리지 솔루션부터 DeFi 및 Glif와 같은 유동성 스테이킹 솔루션에 이르기까지 Filecoin의 DApp 생태계 성장에 기여했습니다. Retriev는 Filecoin Actors를 통해 허가된 심판과 함께 인센티브 페그 검색을 제공합니다. Filecoin의 프로그래밍 기능을 사용하면 DA에 의존하는 플랫폼이 필요한 것보다 더 많은 DA에 비용을 지불할 필요가 없도록 다양한 솔루션에 필요한 DA 요구 사항을 사용자 정의할 수 있습니다.
DSN 기반 DA 아키텍처가 직면한 과제
조사 과정에서 우리는 DSN에 DA 서비스를 구축하기 전에 극복해야 할 중요한 과제를 발견했습니다. 이제 구현 타당성에 대해 이야기하고 있으므로 Filecoin에 중점을 둘 것입니다.
지연을 증명하다
Filecoin의 거래 및 저장 데이터 무결성에 대한 암호화 증명은 입증하는 데 시간이 걸립니다. 데이터가 네트워크에 제출되면 32GB 섹터로 나누어 "캡슐화"됩니다. 데이터 캡슐화는 PoRep(복제 증명) 및 PoST(공간 및 시간 증명)의 기반입니다. 전자는 스토리지 공급자가 하나 이상의 고유한 데이터 복사본을 저장한다는 것을 증명하고, 후자는 스토리지 공급자가 고유한 데이터 복사본을 지속적으로 저장한다는 것을 증명합니다. 전체 스토리지 트랜잭션 기간 동안 복사합니다. 스토리지 제공업체가 요청 시 데이터를 캡슐화하여 필수 PoReP를 위반하지 않도록 하려면 캡슐화 계산 비용이 높아야 합니다. 프로토콜이 스토리지 제공자에게 주기적으로 지속적으로 저장된 고유한 증명을 요청하는 경우, 스토리지 제공자가 일시적으로 증명이나 복사본을 위조할 수 없도록 캡슐화에 필요한 보안 시간은 응답 창보다 길어야 합니다. 따라서 공급자가 데이터 섹터를 캡슐화하는 데 약 3시간이 걸릴 수 있습니다.
저장 임계값
압축 작업은 계산 비용이 많이 들기 때문에 압축된 데이터의 섹터 크기는 경제적으로 가치가 있어야 합니다. 스토리지 제공업체의 경우 스토리지 가격이 패키징 비용을 정당화해야 하며, 마찬가지로 데이터 스토리지의 결과 비용은 사용자가 Filecoin 데이터에 저장할 수 있을 만큼 충분히 낮아야 합니다(이 경우 약 32GB의 데이터 블록). . 더 작은 섹터를 패키징하는 것이 가능하지만 이로 인해 스토리지 공급자를 보상하기 위해 스토리지 가격이 상승합니다. 이 문제를 해결하기 위해 데이터 수집자는 사용자로부터 더 작은 데이터 청크를 수집하여 거의 32GB의 청크로 Filecoin에 제출합니다. 데이터 수집자는 PoDSI(데이터 세그먼트 포함 증명) 및 pCID(데이터 세그먼트 포함 증명)를 통해 사용자 데이터를 커밋합니다. -block CID(pCID)는 해당 섹터에서 사용자가 확인하는 것입니다. 네트워크에서 데이터를 검색할 때 사용됩니다.
합의 제약
Filecoin의 합의 메커니즘인 예상 합의(Expected Consensus)는 30초의 블록 시간과 몇 시간의 마무리 시간을 가지며 이는 가까운 미래에 개선될 수 있습니다(Filecoin의 빠른 최종성에 대해서는 FIP-0086 참조). 이는 일반적으로 트랜잭션 데이터를 처리하기 위해 DA에 의존하는 레이어 2에 필요한 트랜잭션 처리량을 지원하기에는 너무 느립니다. Filecoin의 블록 시간은 스토리지 공급자의 하드웨어 제한에 의해 제한됩니다. 블록 시간이 짧을수록 스토리지 제공업체가 스토리지 증명을 생성하고 제공하기가 더 어려워지며, 데이터를 올바르게 저장하기 위한 증명 기간을 놓친 스토리지 제공업체에 더 많은 오류 페널티가 발생합니다. 이 문제를 극복하기 위해 IPC(행성 간 합의) 서브넷을 활용하여 합의 시간을 단축할 수 있습니다. IPC는 무작위성을 달성하기 위해 Tendermint 및 DRAND와 유사한 합의를 사용합니다. DRAND가 병목 현상이 발생하는 경우 Tendermint, PoC에서 병목 현상이 발생하는 경우 IPC 서브넷을 사용하여 3초의 블록 시간을 달성할 수 있습니다. Narwhal과 같은 경우 수백 밀리초 만에 데이터 차단 시간을 달성합니다.
검색 속도
마지막 장애물은 검색입니다. 위의 제약 조건을 통해 Filecoin은 콜드 스토리지 또는 웜 스토리지에 적합하다고 추론할 수 있습니다. 그러나 DA 데이터는 핫하므로 고성능 애플리케이션을 지원해야 합니다. Filecoin에서는 인센티브 후크 검색이 어렵습니다. 데이터를 클라이언트에 제공하기 전에 차단을 해제해야 하므로 대기 시간이 늘어납니다. 현재 빠른 검색은 SLA를 통해 또는 캡슐화되지 않은 데이터를 캡슐화된 섹터와 함께 저장함으로써 달성됩니다. 두 가지 모두 Filecoin의 안전한 무허가 애플리케이션 아키텍처에서는 신뢰할 수 없습니다. 특히, Retriev는 FVM을 통해 검색이 보장될 수 있음을 입증했으며, Filecoin에서 인센티브 후크의 빠른 검색은 여전히 더 탐구되어야 할 영역입니다.
비용 분석
이 섹션에서는 이러한 설계 요소와 관련된 비용을 고려합니다. Ethereum calldata, Celestia blobdata, EigenDA blobdata 및 Filecoin(현재 시장 가격에 가깝게 사용)에 32GB를 섹터로 저장하는 비용을 보여줍니다.
분석은 Ethereum 통화 데이터의 가격을 강조합니다. 32GB의 데이터 비용은 1억 달러입니다. 이 가격은 이더리움 합의의 보안 비용을 보여주며 이더리움 및 가스 가격 변동의 영향을 받습니다. Dencun 업그레이드는 Proto-Danksharding(EIP-4844)을 도입하고, Blob 트랜잭션을 도입하고, 각각 크기가 약 125KB인 블록당 3개의 Blob을 목표로 하며, 블록당 Blob 목표 블록 수를 유지하기 위해 가변 Gas Blob 가격 책정을 도입합니다. 이 업그레이드는 Ethereum DA 비용을 1/5로 줄입니다. 즉, 32GB Blob 데이터의 비용은 2천만 달러입니다.
Celestia와 EigenDA는 32GB 데이터에 대해 각각 8,000달러와 26,000달러로 크게 개선되었습니다. 둘 다 시장 가격 변동의 영향을 받으며 어느 정도 합의 데이터 보안 비용을 반영합니다. Celestia는 기본 TIA 토큰을 사용하고 EigenDA는 Ether를 사용합니다.
위의 모든 경우에 저장된 데이터는 영구적이지 않습니다. Ethereum 호출 데이터는 3주 동안 저장되고, Blob은 18일 동안 저장되며, EigenDA는 기본 기간인 14일 동안 Blob을 저장합니다. 현재 Celestia 구현에서 아카이브 노드는 Blob 데이터를 무기한 저장하지만 라이트 노드는 최대 30일 동안만 샘플링할 수 있습니다.
마지막 두 표는 Filecoin과 현재 DA 솔루션을 직접 비교한 것입니다. 비용 등가성은 먼저 특정 플랫폼에서 단일 바이트 데이터의 비용을 나열한 다음 동일한 비용으로 동일한 시간 동안 저장할 수 있는 Filecoin 바이트 수를 표시합니다.
이는 Filecoin이 현재 DA 솔루션보다 훨씬 저렴하다는 것을 보여줍니다. 동일한 시간에 동일한 양의 데이터를 저장하는 데 드는 비용은 1센트도 안 됩니다. Filecoin 노드는 이더리움 노드 및 기타 DA 솔루션의 노드와 달리 네트워크의 모든 노드 간 저장소를 복사하는 것이 아니라 노드가 저장소를 증명할 수 있는 증명 시스템을 갖춘 저장소 서비스를 제공하도록 최적화되어 있습니다. 스토리지 제공업체의 경제성(예: 데이터 캡슐화에 드는 에너지 비용)을 고려하지 않으면 Filecoin 스토리지 절차의 기본 오버헤드는 무시할 수 있습니다. 이는 Ethereum과 비교하여 Filecoin에서 안전하고 고성능의 DA 서비스를 제공할 수 있는 시스템이 기가바이트당 최대 수백만 달러에 달하는 시장 기회를 가지고 있음을 시사합니다.
처리량
아래에서는 DA 솔루션의 용량과 주요 레이어 2 롤업으로 인해 발생하는 수요를 살펴보겠습니다.
Filecoin 블록체인은 블록 높이당 여러 블록이 있는 팁 세트로 구성되므로 발생할 수 있는 트랜잭션 수는 합의 또는 블록 크기에 의해 제한되지 않습니다. Filecoin의 엄격한 데이터 제약은 네트워크 전체의 저장 용량이지 합의를 통해 허용되는 용량이 아닙니다.
일일 DA 수요의 경우 Terry Chung과 Wei Dai가 제공한 Rollups DA 및 Execution에서 데이터를 얻습니다. 여기에는 30일 동안의 일일 평균과 단일 샘플링 날짜의 데이터가 포함됩니다. 이런 방식으로 우리는 평균 수요를 고려하고 평균과의 편차를 무시하지 않을 수 있습니다(예를 들어 Optimism의 2023년 8월 15일 수요는 약 261,000,000바이트였으며 이는 30일 평균 64,000으로 000바이트의 4배가 넘는 수치입니다).
이번 선택에서 알 수 있는 것은 DA 비용이 감소할 수 있는 기회가 있지만, Filecoin의 32GB 섹터 크기를 효과적으로 활용하기 위해서는 DA 요구 사항이 크게 높아져야 한다는 것입니다. 32GB 미만의 데이터로 32GB 섹터를 캡슐화하면 리소스가 낭비되지만 여전히 비용 이점을 얻을 수 있습니다.
건축학
이 섹션에서는 오늘날 구축한다면 이를 가능하게 할 기술 아키텍처를 고려합니다. 우리는 L2 애플리케이션과 L2가 제공하는 L1 체인의 맥락에서 이 아키텍처를 고려할 것입니다. 이 솔루션은 Celestia 및 EigenDA와 같은 외부 DA 솔루션이므로 Filecoin을 예시 L1으로 간주하지 않습니다.
구성 요소
높은 수준에서도 Filecoin의 DA는 Filecoin 생태계의 다양한 기능을 활용합니다.
Transaction : 다운스트림 사용자는 DA가 필요한 플랫폼, 즉 L2에서 트랜잭션을 수행합니다.
DA를 사용하는 플랫폼 : 이러한 플랫폼은 DA를 서비스로 사용하는데, 이는 거래 데이터를 Filecoin DA에 게시하는 L2일 수도 있고 L1(예: 이더리움)에 대한 약속일 수도 있습니다.
레이어 1 : DA 솔루션을 가리키는 데이터 약속이 포함된 L1입니다. 이는 Filecoin DA 솔루션을 사용하여 L2를 지원하는 Ethereum일 수 있습니다.
Aggregator : Filecoin 기반 DA 솔루션 프런트 엔드는 L2 및 기타 DA 클라이언트로부터 트랜잭션 데이터를 수신하여 캡슐화에 적합한 32GB 섹터로 집계하는 중앙 집중식 구성 요소인 Aggregator입니다. 간단한 개념 증명에는 중앙 집중식 수집기가 포함되지만 DA 솔루션을 사용하는 플랫폼은 자체 수집기를 실행할 수도 있습니다. 예를 들어, L2 분류기의 보조 장치로서 Aggregator의 Centralizer는 L2 분류기 또는 EigenDA의 Decentralizer와 유사합니다. 수집기가 32GB에 가까운 페이로드를 컴파일하면 데이터를 저장하기 위해 스토리지 공급자와 스토리지 계약을 체결합니다. 사용자는 자신의 데이터가 PoDSI(데이터 세그먼트 포함 증명) 형식으로 해당 섹터에 포함되며, 데이터가 네트워크에 입력되면 pCID를 사용하여 데이터를 식별합니다. 이 pCID는 L1의 상태 약속에 포함되며 거래를 지원하는 데이터를 참조하는 데 사용됩니다.
검증자(Verifier) : 검증자는 상태 약속의 무결성을 보장하고 사기 증명을 확립하기 위해 스토리지 제공자에게 데이터를 요청하며, 이는 사기가 입증될 경우 L1에 제출됩니다.
스토리지 거래 : 수집자가 32GB에 가까운 페이로드를 컴파일하면 수집자는 데이터를 저장하기 위해 스토리지 공급자와 스토리지 계약을 체결합니다.
Blob 게시(Put) : Put을 시작하기 위해 DA 클라이언트는 트랜잭션 데이터가 포함된 Blob을 집계자에게 제출합니다. 이는 온체인 집계 오라클을 통해 오프체인 또는 온체인에서 수행될 수 있습니다. Blob 수신을 확인하기 위해 집계자는 PoDSI를 클라이언트에 반환하여 해당 Blob이 pCID(하위 조각 콘텐츠 식별자)와 함께 서브넷에 제출될 집계 섹터에 포함되어 있음을 증명합니다. Filecoin에서 blob을 사용할 수 있게 되면 클라이언트 및 기타 이해 관계자가 blob을 참조하는 데 사용됩니다.
데이터 거래는 거래가 완료된 후 몇 분 이내에 체인에 나타납니다. 지연의 가장 큰 장애물은 캡슐화 시간으로, 최대 3시간이 걸릴 수 있습니다. 즉, 트랜잭션이 완료되고 사용자는 데이터가 네트워크에 나타날 것이라고 확신할 수 있지만 캡슐화 프로세스가 완료될 때까지 데이터를 쿼리할 수 있다는 보장은 없습니다. Lotus 클라이언트에는 캡슐화되지 않은 데이터 복사본이 캡슐화된 복사본과 함께 저장되는 빠른 검색 기능이 있으며, 검색 트랜잭션이 캡슐화되지 않은 데이터에 의존하지 않는 한 캡슐화되지 않은 데이터가 데이터 저장 공급자에게 전송된 후 즉시 사용할 수 있습니다. 캡슐화된 데이터가 네트워크에 존재한다는 것을 증명합니다. 그러나 이 기능은 데이터 공급자의 재량에 따라 결정되며 계약의 일부로 암호화 방식으로 보장되지는 않습니다. 빠른 검색 보장을 제공하려면 집행을 시행하기 위한 합의 및 페널티/인센티브 메커니즘의 변경이 필요합니다.
Blob 검색(Get) : 검색은 넣기 작업과 유사합니다. 검색 트랜잭션이 필요하며 몇 분 내에 온체인에 나타납니다. 검색 지연은 거래 조건과 빠른 검색을 위해 캡슐화되지 않은 데이터 복사본을 저장하는지 여부에 따라 달라집니다. 빠른 검색의 경우 대기 시간은 네트워크 상태에 따라 달라집니다. 빠른 검색이 없으면 데이터를 클라이언트에 제공하기 전에 압축을 풀어야 하며, 이는 캡슐화와 동일한 시간(약 3시간)이 소요됩니다. 따라서 최적화가 없으면 최대 왕복 시간은 6시간이며 이것이 실행 가능한 DA 또는 사기 방지 시스템이 되기 전에 데이터 서비스에 대한 상당한 개선이 필요합니다.
DA 증명 : DA 증명은 두 단계로 나눌 수 있습니다. 거래 중 데이터가 수집자에게 제출될 때 제공되는 PoDSI를 통해, 그리고 Filecoin 합의 메커니즘이 제공하는 PoRep 및 PoST의 지속적인 커밋을 통해. 위에서 언급한 것처럼 PoRep과 PoST는 데이터 보관 및 내구성에 대한 계획적이고 입증 가능한 보장을 제공합니다.
이 솔루션은 DA(건축 증명 여부에 관계없이)에 의존하는 모든 클라이언트가 Filecoin과 상호 작용할 수 있어야 하므로 브리징을 많이 사용합니다. L1에 게시된 상태 전환에 포함된 pCID의 경우 검증자는 잘못된 pCID가 제출되지 않았는지 확인하기 위해 예비 검사를 수행할 수 있습니다. 이를 수행하는 방법에는 여러 가지가 있습니다. 예를 들어 L1에 Filecoin 데이터를 게시하는 오라클을 통해 또는 유효성 검사기를 통해 pCID에 해당하는 트랜잭션이나 데이터 섹터가 있는지 확인하는 등이 있습니다. 마찬가지로, L1에 발행된 유효성 또는 사기 증명을 확인하려면 증명이 유효하거나 사기성이라는 확신을 제공하기 위해 브리지를 사용해야 할 수도 있습니다. 현재 사용 가능한 브리지는 Axelar와 Celer입니다.
보안 분석
Filecoin의 무결성은 담보를 삭감함으로써 달성됩니다. 담보는 저장 오류 또는 합의 오류라는 두 가지 상황에서 삭감될 수 있습니다. 스토리지 오류는 스토리지 공급자가 저장된 데이터(PoRep 또는 PoST)에 대한 증거를 제공하지 못하는 경우로, 이는 우리 모델의 데이터 가용성 부족과 관련이 있습니다. 합의 오류는 합의, 거래 원장을 관리하는 프로토콜 및 거래 원장에서 추상화된 FEVM의 악의적인 행위를 나타냅니다.
섹터 오류는 연속 저장 증명을 발행하지 못하여 발생하는 처벌입니다. 스토리지 제공업체에는 스토리지 오류에 대해 처벌을 받지 않는 1일의 유예 기간이 있습니다. 섹터 오류가 발생한 지 42일이 지나면 해당 섹터는 종료됩니다. 발생한 수수료는 파기됩니다.
BR(t) = ProjectedRewardFraction(t) * SectorQualityAdjustedPower
섹터 종료는 42일 동안 섹터에 결함이 있거나 스토리지 공급자가 의도적으로 트랜잭션을 종료한 경우 발생합니다. 해지 수수료는 해지 전 해당 부문에서 얻은 최대 금액과 동일하며, 최대 90일 수익으로 제한됩니다. 미납된 거래 수수료는 사용자에게 환불됩니다. 발생한 비용은 파기됩니다.
max(SP(t), BR(StartEpoch, 20일) + BR(StartEpoch, 1d) *terminationRewardFactor * min(SectorAgeInDays, 140))
거래가 종료되면 스토리지 시장 행위자 슬래시가 발생하는데, 이는 거래 후 스토리지 제공업체가 게시한 담보가 감소하는 것입니다.
Filecoin이 제공하는 보안은 다른 블록체인의 보안과 매우 다릅니다. 블록체인 데이터는 일반적으로 합의를 통해 보호되며, Filecoin 합의는 거래 참조 데이터가 아닌 거래 원장만 보호합니다. Filecoin에 저장된 데이터는 저장소 제공자가 저장소를 제공하도록 장려할 수 있을 만큼 충분히 안전해야 합니다. 이는 Filecoin에 저장된 데이터가 오류 처벌 및 사용자 평판과 같은 상업적 인센티브를 통해 보호된다는 것을 의미합니다. 즉, 블록체인의 데이터 오류는 블록체인의 보안이나 거래 유효성 개념을 훼손하는 합의 위반에 해당합니다. Filecoin은 데이터 저장과 관련하여 내결함성이 있으므로 거래 원장 및 거래 관련 활동의 보안을 보장하기 위해 합의만을 사용합니다. 스토리지 제공업체가 데이터 거래를 이행하지 못하여 발생하는 비용은 최대 90일에 해당하는 스토리지 보상 벌금과 거래를 보장하기 위해 게시한 담보의 손실입니다.
따라서 Filecoin 제공업체의 데이터 원천징수 공격 비용은 단순히 거래를 검색하는 데 드는 기회 비용입니다. Filecoin의 데이터 검색은 스토리지 제공자에게 인센티브를 제공하기 위해 사용자가 지불하는 수수료에 의존합니다. 그러나 데이터 검색 요청에 응답하지 못하더라도 스토리지 제공업체에 부정적인 영향을 미치지 않습니다. 단일 스토리지 제공자가 데이터 검색 트랜잭션을 무시하거나 거부하는 위험을 줄이기 위해 Filecoin의 데이터는 여러 스토리지 제공자에 의해 저장될 수 있습니다.
Filecoin 데이터의 경제적 보안은 블록체인 기반 솔루션보다 훨씬 낮기 때문에 데이터 조작에 대한 보호도 고려해야 합니다. 데이터 조작은 Filecoin 증명 시스템을 통해 보호됩니다. 데이터는 CID를 통해 참조되며 이를 통해 데이터 손상을 즉시 감지할 수 있습니다. 따라서 획득한 데이터가 요청한 CID와 일치하는지 쉽게 확인할 수 있으므로 데이터 공급자는 손상된 데이터를 서비스할 수 없습니다. 데이터 공급자는 손상된 데이터를 손상되지 않은 데이터와 동일한 위치에 저장할 수 없습니다. 사용자 데이터를 수신한 후 공급자는 데이터 트랜잭션을 시작하기 위해 올바르게 캡슐화된 데이터 섹터에 대한 증거를 제공해야 합니다(이 상자 선택). 따라서 손상된 데이터로는 스토리지 트랜잭션을 시작할 수 없습니다. 스토리지 트랜잭션 수명 동안 에스크로 청산을 증명하기 위해 PoST가 제공됩니다(이는 캡슐화된 데이터 섹터에 대한 에스크로와 마지막 PoST 이후의 에스크로를 모두 증명한다는 점에 유의하세요). PoST는 증명을 생성할 때 섹터 캡슐화에 의존하기 때문에 손상된 섹터는 가짜 PoST로 이어져 섹터 오류가 발생할 수 있습니다. 결과적으로 스토리지 제공자는 손상된 데이터를 저장하거나 제공할 수 없으며, 손상되지 않은 데이터를 제공한 것에 대한 보상을 받을 수 없으며, 사용자 데이터 변조에 대한 처벌을 피할 수도 없습니다.
현재 스토리지 제공자와 사용자가 결정하는 스토리지 시장 행위자에게 스토리지 제공자가 약속한 담보를 늘려 보안을 강화할 수 있습니다. 이 담보 금액이 공급자가 채무 불이행을 하지 않도록 장려할 만큼 충분히 높다고 가정하면(예: 이더리움 검증자의 담보와 동일), 또 무엇을 확보해야 하는지 생각할 수 있습니다(비록 그렇게 하는 것은 이 담보 때문에 매우 자본 비효율적이지만) 각 트랜잭션 Blob 또는 집계 Blob 섹터를 보호하는 데 필요합니다. 이제 데이터 제공업체는 스토리지 시장 행위자가 스토리지 거래를 종료하기 전 최대 41일 동안 데이터를 사용할 수 없도록 선택할 수 있습니다. 데이터 거래 기간이 더 짧다고 가정하면 거래 마지막 날까지 데이터를 사용할 수 없다고 가정할 수 있습니다. 악의적인 행위자의 조정이 없는 경우 데이터 서비스가 계속될 수 있도록 여러 스토리지 공급자에 걸쳐 복제하여 이 상황을 완화할 수 있습니다.
우리는 허위 증명을 받아들이거나 원장 내역을 다시 작성하고 책임 있는 스토리지 제공업체에 불이익을 주지 않고 주문서에서 거래를 제거함으로써 공격자가 합의를 뒤집는 비용을 고려할 수 있습니다. 그러나 이번 보안 침해의 경우 공격자가 Filecoin의 원장을 마음대로 조작할 수 있다는 점은 주목할 가치가 있습니다. 이러한 공격을 수행하려면 공격자는 Filecoin 체인에서 최소한 다수의 지분을 보유해야 합니다. 스테이크는 네트워크에 제공되는 스토리지와 관련이 있습니다. 현재 Filecoin 체인의 데이터 볼륨은 25EiB(101⁶바이트)이며, 악의적인 행위자가 포크 선택 규칙을 획득하려면 자신의 체인을 제공하려면 최소 12.5EiB가 필요합니다. 이는 합의 오류와 관련된 슬래싱을 통해 더욱 완화되며, 이로 인해 스테이킹된 모든 담보 및 블록 보상이 손실되고 합의 참여가 중단됩니다.
주제 외: 다른 DA 솔루션에 대한 공격 차단
위의 시나리오는 원천징수 공격으로부터 데이터를 보호하는 데 있어 Filecoin의 단점을 보여주지만 이것이 유일한 예는 아닙니다.
Ethereum : 일반적으로 Ethereum 네트워크에 대한 요청에 대한 응답을 보장하는 유일한 방법은 전체 노드를 실행하는 것입니다. 따라서 풀 노드는 합의 외부의 데이터 검색 요청을 충족할 필요가 없습니다. PeerDAS와 같은 구조는 데이터 검색에 대한 노드 응답을 위한 피어 채점 시스템을 도입합니다. 여기서 점수(본질적으로 DA 평판)가 충분히 낮은 노드는 네트워크에서 격리될 수 있습니다.
Celestia : Celestia는 Filecoin 구조보다 바이트당 보안이 더 강력하고 원천징수 공격에 강하지만, 이 보안을 활용하는 유일한 방법은 전체 노드를 호스팅하는 것입니다. 내부적으로 소유 및 운영되지 않는 Celestia 인프라에 대한 요청은 처벌 없이 검토됩니다.
EigenDA : Celestia와 마찬가지로 모든 서비스는 EigenDA Operator 노드를 실행하여 자체 데이터를 검색할 수 있습니다. 따라서 프로토콜 외부 데이터 검색 요청은 검토 대상이 됩니다. 또한 EigenDA에는 수집기와 유사하게 데이터 인코딩, KZG 약속 및 데이터 배포를 담당하는 중앙 집중식의 신뢰할 수 있는 배포자가 있습니다.
검색 보안
DA에는 검색 가능성이 필요합니다. 이상적으로 시장의 힘은 경제적으로 합리적인 스토리지 제공업체가 검색 거래를 수락하고 다른 제공업체와 경쟁하여 사용자의 가격을 낮추도록 장려할 것입니다. 이는 데이터 제공자가 검색 서비스를 제공하기에 충분하다고 가정하지만, DA의 중요성을 고려하면 더 높은 보안을 요구하는 것이 합리적입니다.
현재 위와 같은 경제적 안정성으로는 회수를 보장할 수 없습니다. 이는 클라이언트가 데이터를 수신하지 않았다는 것을 신뢰 최소화 방식으로 증명하는 것이 암호학적으로 어렵기 때문입니다(클라이언트가 데이터를 보냈다는 스토리지 공급자의 주장을 반박해야 하는 경우). Filecoin의 경제적 보안을 통한 검색 보안을 보장하려면 프로토콜 기반 검색 보장이 필요합니다. 프로토콜을 최소한으로 변경하면 검색이 섹터 오류 또는 트랜잭션 종료와 연결되어야 함을 의미합니다. Retriev는 데이터 검색 분쟁을 중재하기 위해 신뢰할 수 있는 "심판자"를 사용하여 데이터 검색 보장을 제공하는 개념 증명입니다.
보충: 다른 DA 솔루션 검색
위에서 언급했듯이 Filecoin에는 저장소(또는 검색 공급자)의 이기적인 행동을 방지하는 데 필요한 프로토콜 기반 검색 보장이 부족합니다. Ethereum 및 Celestia의 경우 프로토콜 데이터를 읽을 수 있음을 보장하는 유일한 방법은 전체 노드를 자체 호스팅하거나 인프라 제공업체의 SLA를 신뢰하는 것입니다. Filecoin 저장소 제공자로서 보장된 검색은 쉬운 작업이 아닙니다. Filecoin의 유사한 설정은 스토리지 제공자가 되어(상당한 인프라 비용 필요) 사용자 게시 스토리지 제공자와 동일한 스토리지 트랜잭션을 성공적으로 수락하는 것입니다. 이 시점에서 사람들은 스토리지를 제공하기 위해 비용을 지불하게 됩니다.
지연 분석
Filecoin의 대기 시간은 네트워크, 토폴로지 조합, 스토리지, 클라이언트 구성 및 하드웨어 기능과 같은 다양한 요소에 의해 결정됩니다. 이러한 요소와 빌드에서 기대할 수 있는 성능에 대해 논의하는 이론적 분석을 제공합니다.
Filecoin 증명 시스템의 설계와 검색 인센티브 부족으로 인해 Filecoin은 데이터의 초기 게시부터 데이터의 초기 검색까지 고성능 왕복 대기 시간을 제공하도록 최적화되어 있지 않습니다. Filecoin의 고성능 검색은 스토리지 제공업체의 기능이 향상되고 Filecoin이 새로운 기능을 도입함에 따라 지속적으로 변화하는 활발한 연구 영역입니다. 우리는 "왕복"을 데이터 거래 제출부터 Filecoin에 제출된 데이터를 다운로드할 수 있는 가장 빠른 시간으로 정의합니다.
블록타임
Filecoin의 의도된 합의에 따르면 데이터 거래는 30초의 블록 시간 내에 완료될 수 있습니다. 코인 전송 등 온체인의 민감한 데이터에 대한 일반적인 확인 시간은 1시간입니다.
데이터 처리
데이터 처리 시간은 스토리지 제공업체 및 구성에 따라 다릅니다. 표준 스토리지 프로비저닝 하드웨어를 사용하면 패키징 프로세스에 3시간이 걸립니다. 스토리지 제공업체는 일반적으로 특별한 클라이언트 구성, 병렬화 및 보다 강력한 하드웨어에 대한 투자를 통해 3시간을 단축합니다. 이 변경 사항은 섹터 차단 해제 기간에도 영향을 미치며, 이는 Lotus와 같은 Filecoin 클라이언트의 빠른 검색 옵션으로 완전히 우회됩니다. 빠른 검색 설정은 캡슐화된 데이터와 함께 캡슐화되지 않은 데이터 복사본을 저장하여 검색 시간을 크게 단축합니다. 이를 바탕으로 데이터 트랜잭션이 승인된 시점부터 데이터가 온체인에서 사용 가능해질 때까지 최악의 경우 3시간의 대기 시간을 가정할 수 있습니다.
결론 및 향후 방향
이 기사에서는 기존 DSN, 즉 Filecoin을 사용하여 DA를 구축하는 방법을 살펴봅니다. 우리는 DA에 대한 요구 사항을 Ethereum 확장 인프라의 핵심 요소로 간주했습니다. 우리는 Filecoin을 기반으로 하는 DSN에 DA를 구축하는 타당성을 고려하고 이를 사용하여 Filecoin의 솔루션이 Ethereum 생태계에 가져올 기회 또는 비용 효율적인 DA 계층의 이점을 얻을 수 있는 모든 기회를 탐색합니다.
Filecoin은 DSN이 블록체인 기반 분산 시스템에서 데이터 저장 효율성을 크게 향상시켜 현재 시장 가격으로 작성된 데이터 32GB당 1억 달러를 절약할 수 있음을 보여주었습니다. DA에 대한 수요가 32GB 섹터를 채울 만큼 충분하지 않지만, 빈 섹터를 캡슐화하면 DA의 비용 이점이 여전히 존재합니다. Filecoin의 현재 저장 및 검색 대기 시간은 핫 스토리지 요구 사항에 적합하지 않지만 스토리지 공급자의 특정 작업은 합리적인 성능을 제공하여 3시간 이내에 데이터를 사용할 수 있도록 보장할 수 있습니다.
Filecoin 스토리지 제공업체에 대한 신뢰도는 EigenDA와 같은 다양한 담보를 통해 확장될 수 있습니다. Filecoin은 많은 수의 복제본을 네트워크에 저장할 수 있도록 하여 조정 가능한 비잔틴 내결함성을 추가함으로써 조정 가능한 보안을 확장합니다. 데이터 원천징수 공격을 강력하게 막으려면 성능이 보장된 데이터 검색이 해결되어야 하지만 다른 솔루션과 마찬가지로 검색을 실제로 보장하는 유일한 방법은 노드를 자체 호스팅하거나 인프라 제공자를 신뢰하는 것입니다.
우리는 (Filecoin의 현재 개념 증명과 함께) DAS를 대체하여 데이터가 더 큰 캡슐화된 섹터에 포함되도록 보장할 수 있는 PoDSI의 추가 개발에서 DA의 기회를 봅니다. 상황에 따라 사기 증명은 1일~1주일 내에 발행될 수 있고 DA는 요청 시 보장될 수 있으므로 느린 데이터 처리 시간이 허용될 수 있습니다. PoDSI는 여전히 새로운 기술이고 많은 개발이 진행 중이므로 효율적인 PoDSI가 어떤 모습일지, 이를 기반으로 시스템을 구축하는 데 필요한 메커니즘이 무엇인지 아직 알 수 없습니다. Filecoin 데이터를 컴퓨팅하기 위한 솔루션이 이미 있으므로 래핑되거나 래핑되지 않은 데이터에서 PoDSI를 컴퓨팅하기 위한 솔루션은 그다지 설득력이 없을 수 있습니다.
DA 및 Filecoin 분야가 발전함에 따라 솔루션과 지원 기술의 새로운 조합이 새로운 개념 증명으로 이어질 수 있습니다. Solana와 Filecoin 네트워크의 통합이 보여주듯이 DSN은 확장 기술로서 잠재력을 가지고 있습니다. Filecoin의 데이터 저장 비용은 상당한 최적화 여지가 있는 열린 기회를 제공합니다. 이 기사에서 논의된 과제는 DA 지원이라는 맥락에서 제기되지만 궁극적인 솔루션은 DA 외부에 수많은 새로운 도구와 시스템을 구축하게 될 것입니다.
관련 차트 데이터는 Filecoin 사양, EIP-4844, EigenDA, Celestia 구현, Celenium, Starboard, file.app, Rollups DA 및 Execution뿐만 아니라 현재 대략적인 시장 가격에서 제공됩니다.
