사일로에서 협업까지: Web3 네이티브 데이터 파이프라인의 중요성

작가:Jay : : FP

편집: Deep Tide TechFlow

2008년 비트코인 ​​백서가 공개되면서 신뢰의 개념에 대한 재고가 촉발되었습니다. 그런 다음 블록체인은 정의를 확장하여 무신뢰 시스템이라는 개념을 포함시켰고 개인 주권, 금융 민주화, 소유권과 같은 다양한 유형의 가치가 기존 시스템에 적용될 수 있다고 주장하도록 빠르게 발전했습니다. 물론, 블록체인이 실제로 사용되기까지는 많은 검증과 논의가 필요할 수 있습니다. 왜냐하면 블록체인의 특성이 기존의 다양한 시스템에 비해 다소 급진적으로 보일 수 있기 때문입니다. 그러나 이러한 시나리오에 대해 낙관한다면, 데이터 파이프라인을 구축하고 블록체인 스토리지에 포함된 귀중한 정보를 분석하는 것은 이전에는 존재하지 않았던 Web3를 관찰할 수 있기 때문에 업계 발전의 또 다른 중요한 전환점이 될 가능성이 있습니다. 지능.

본 논문에서는 기존 IT 시장에서 일반적으로 사용되는 데이터 파이프라인을 Web3 환경에 투영하여 Web3 네이티브 데이터 파이프라인의 잠재력을 탐구합니다. 이 기사에서는 이러한 파이프라인의 이점, 해결해야 할 과제, 이러한 파이프라인이 업계에 미치는 영향에 대해 설명합니다.

1. 특이점은 정보 혁신에서 나온다

언어는 인간과 하등동물 사이의 가장 중요한 차이점 중 하나입니다. 단순히 소리를 내는 능력이 아니라, 명확한 소리를 명확한 생각과 연관시키고 그 소리를 아이디어 전달을 위한 상징으로 사용하는 것입니다. - 다윈

역사적으로 인류 문명의 주요 발전은 정보 공유의 혁신을 동반했습니다. 우리 조상들은 서로 의사소통하고 지식을 미래 세대에게 전달하기 위해 말과 글 모두의 언어를 사용했습니다. 이것은 다른 종에 비해 큰 이점을 제공합니다. 필기, 종이, 인쇄술의 발명으로 정보를 더욱 광범위하게 공유할 수 있게 되었고, 이는 과학, 기술, 문화의 큰 발전을 가져왔습니다. 특히 구텐베르크 성경의 금속활자 인쇄는 서적과 기타 인쇄물의 대량 생산을 가능하게 한 분수령이었습니다. 이는 종교개혁, 민주혁명, 과학 발전의 시작에 지대한 영향을 미쳤습니다.

2000년대 IT 기술의 급속한 발전으로 인해 우리는 인간 행동에 대한 더 깊은 이해를 얻을 수 있게 되었습니다. 이는 현대를 살아가는 대부분의 사람들이 디지털 정보를 기반으로 다양한 의사결정을 내리는 라이프스타일의 변화를 가져왔습니다. 우리가 현대 사회를 'IT 혁신 시대'라고 부르는 것도 바로 이 때문입니다.

인터넷이 본격 상용화된 지 불과 20년 만에 인공지능 기술이 다시 한번 세계를 놀라게 했습니다. 인간의 노동을 대체할 수 있는 응용프로그램이 많이 있고, AI가 바꿀 문명에 대해 많은 사람들이 논의하고 있습니다. 어떤 사람들은 그러한 기술이 어떻게 그렇게 빨리 등장하여 우리 사회의 기반을 흔들 수 있는지 의아해하며 이를 부정하기도 합니다. 반도체의 성능은 시간이 지날수록 기하급수적으로 향상된다는 '무어의 법칙'이 있지만, GPT의 등장으로 인한 변화는 너무 갑작스러워 당장 직면할 수 없다.

그러나 흥미롭게도 GPT 모델 자체는 실제로 그다지 획기적인 아키텍처는 아닙니다. 한편, AI 업계에서는 GPT 모델의 주요 성공 요인으로 1) 대규모 고객층을 타겟으로 할 수 있는 비즈니스 도메인 정의, 2) 데이터 수집부터 최종까지 데이터 파이프라인을 통한 모델 튜닝을 꼽을 예정이다. 결과 및 결과 기반 피드백. 즉, 이러한 애플리케이션은 서비스 제공 목적을 구체화하고 데이터/정보 처리 프로세스를 업그레이드함으로써 혁신을 가능하게 합니다.

2. 데이터 기반 의사결정은 어디에나 있습니다.

우리가 혁신이라고 부르는 것의 대부분은 실제로 우연이나 직관이 아닌 축적된 데이터의 조작에 기반을 두고 있습니다. “자본주의 시장에서는 강한 자가 살아남는 것이 아니라, 살아남는 자가 강한 것이다”라는 말이 있습니다. 오늘날의 비즈니스는 경쟁이 치열하고 시장은 포화 상태입니다. 따라서 기업은 가장 작은 틈새 시장을 확보하기 위해 모든 종류의 데이터를 수집하고 분석하고 있습니다.

우리는 슘페터의 창조적 파괴 이론에 너무 집착하고 직관에 기초한 결정을 내리는 것을 너무 강조할 수 있습니다. 그러나 아무리 뛰어난 직관이라도 결국은 개인이 축적한 데이터와 정보의 산물이다. 앞으로 디지털 세상은 우리 삶에 더욱 깊숙이 침투할 것이며 점점 더 민감한 정보가 디지털 데이터의 형태로 제시될 것입니다.

Web3 시장은 사용자에게 자신의 데이터에 대한 통제권을 부여할 수 있는 잠재력으로 인해 많은 주목을 받고 있습니다. 그러나 현재 Web3의 기본 기술인 블록체인 분야에서는 트릴레마(Deep Tide Note: Triangular Dilemma, 즉 보안, 탈중앙화, 확장성 문제) 해결에 더 관심이 쏠리고 있습니다. 신기술이 현실 세계에서 설득력을 얻으려면 다양한 방식으로 사용될 수 있는 애플리케이션과 인텔리전스를 개발하는 것이 중요합니다. 우리는 빅 데이터 공간에서 이런 일이 일어나는 것을 목격했으며, 빅 데이터 처리 및 데이터 파이프라인을 구축하는 방법론은 2010년경부터 크게 발전했습니다. Web3의 맥락에서 업계를 발전시키고 데이터 기반 인텔리전스를 생성하기 위한 데이터 흐름 시스템을 구축하려는 노력이 이루어져야 합니다.

3. 체인의 데이터 흐름을 기반으로 한 기회

그렇다면 Web3 기반 스트리밍 시스템에서 어떤 기회를 포착할 수 있으며, 이러한 기회를 포착하기 위해 해결해야 할 과제는 무엇입니까?

3.1 장점

간단히 말해서, Web3 네이티브 데이터 스트림 구성의 가치는 신뢰할 수 있는 데이터를 여러 엔터티에 안전하고 효율적으로 배포하여 귀중한 통찰력을 추출할 수 있다는 것입니다.

• 데이터 중복성 - 프로토콜 네트워크가 여러 노드에 데이터 조각을 저장하기 때문에 온체인 데이터는 손실될 가능성이 적고 탄력성이 높습니다.

• 데이터 보안 - 온체인 데이터는 분산 노드 네트워크에 의해 검증되고 합의되므로 변조가 불가능합니다.

• 데이터 주권 - 데이터 주권은 사용자가 자신의 데이터를 소유하고 제어할 수 있는 권리입니다. 온체인 데이터 스트리밍을 통해 사용자는 자신의 데이터가 어떻게 사용되는지 확인하고 해당 데이터에 액세스해야 하는 합법적인 필요성이 있는 사람들과만 공유하도록 선택할 수 있습니다.

• 무허가성 및 투명성 - 온체인 데이터는 투명하고 변조 방지됩니다. 이는 처리 중인 데이터가 신뢰할 수 있는 정보 소스임을 보장합니다.

• 안정적인 운영 - 데이터 흐름이 분산 환경의 프로토콜에 의해 조정되면 단일 장애 지점이 없기 때문에 각 계층은 다운타임에 훨씬 덜 노출됩니다.

3.2 적용사례

신뢰는 서로 다른 주체가 서로 상호 작용하고 의사 결정을 내리는 기초입니다. 따라서 신뢰할 수 있는 데이터가 안전하게 배포될 수 있다는 것은 다양한 주체가 참여하는 Web3 서비스를 통해 많은 상호 작용과 의사 결정이 이루어질 수 있음을 의미합니다. 이는 사회적 자본을 극대화하는 데 도움이 되며 아래에서 몇 가지 사용 사례를 상상할 수 있습니다.

3.2.1 서비스/프로토콜 적용

규칙 기반 자동 결정 시스템 - 프로토콜은 주요 매개변수를 사용하여 서비스를 실행합니다. 이러한 매개변수는 서비스 상태를 안정화하고 사용자에게 최상의 경험을 제공하기 위해 정기적으로 조정됩니다. 그러나 프로토콜이 항상 서비스 상태를 모니터링하고 적시에 매개변수를 동적으로 변경할 수는 없습니다. 이것이 바로 온체인 데이터 흐름이 하는 일입니다. 온체인 데이터 스트림을 사용하여 서비스 상태를 실시간으로 분석하고 서비스 요구 사항에 맞는 최상의 매개변수 세트를 제안할 수 있습니다(예: 대출 프로토콜에 자동 변동 금리 메커니즘 적용).

• 신용 시장 성장 – 신용은 전통적으로 금융 시장에서 개인의 상환 능력을 측정하는 척도로 사용되어 왔습니다. 이는 시장 효율성을 향상시키는 데 도움이 됩니다. 그러나 Web3 시장에서는 신용의 정의가 여전히 불분명합니다. 이는 개인 데이터가 부족하고 산업 전반에 걸쳐 데이터 거버넌스가 부족하기 때문입니다. 따라서 정보를 통합하고 수집하는 것이 어려워진다. 온체인에서 단편화된 데이터를 수집하고 처리하는 프로세스를 구축함으로써 Web3 시장에서 신용 시장을 재정의하는 것이 가능합니다(예: Spectral의 MACRO(다중 자산 신용 위험 오라클) 스코어링).

• 분산형 소셜/NFT 확장 - 분산형 사회는 사용자 제어, 개인 정보 보호, 검열 저항 및 커뮤니티 거버넌스를 우선시합니다. 이는 대안적인 사회 패러다임을 제공합니다. 따라서 다양한 메타데이터를 보다 원활하게 제어 및 업데이트하고 플랫폼 간 마이그레이션을 촉진하는 파이프라인을 구축할 수 있습니다.

• 사기 탐지 - 스마트 계약을 사용하는 Web3 서비스는 자금을 훔치고 시스템을 손상시키며 분리 및 유동성 공격으로 이어질 수 있는 악의적인 공격에 취약합니다. Web3 서비스는 이러한 공격을 사전에 감지할 수 있는 시스템을 구축함으로써 신속한 대응 계획을 수립하고 사용자를 위험으로부터 보호할 수 있습니다.

3.2.2 협력 및 거버넌스 이니셔티브

• 완전한 온체인 DAO - 분산형 자율 조직(DAO)은 효과적인 거버넌스와 공공 자금 조달을 위해 오프체인 도구에 크게 의존합니다. 온체인 데이터 처리 프로세스를 구축하고 DAO 운영을 위한 투명한 프로세스를 생성함으로써 Web3의 기본 DAO 가치를 더욱 높일 수 있습니다.

• 거버넌스 피로 완화 - Web3 프로토콜 결정은 커뮤니티 거버넌스를 통해 이루어지는 경우가 많습니다. 그러나 지리적 장벽, 모니터링 압력, 거버넌스에 필요한 전문성 부족, 무작위로 게시되는 거버넌스 안건, 불편한 사용자 경험 등 참가자의 거버넌스 참여를 어렵게 만드는 요인이 많이 있습니다. 참가자가 개별 거버넌스 안건 항목을 이해하는 것부터 실제로 구현하는 것까지 프로세스를 단순화하는 도구를 만들 수 있다면 프로토콜 거버넌스 프레임워크는 보다 효율적이고 효과적으로 작동할 수 있습니다.

• 협업을 위한 개방형 데이터 플랫폼 - 기존 학계와 산업계에서는 많은 데이터와 연구 자료가 공개되지 않아 전반적인 시장 발전이 매우 비효율적일 수 있습니다. 반면, 온체인 데이터 풀은 투명하고 누구나 접근할 수 있기 때문에 기존 시장보다 더 많은 협업 이니셔티브를 촉진할 수 있습니다. 많은 토큰 표준과 DeFi 솔루션의 개발이 좋은 예입니다. 또한 당사는 다양한 목적으로 공공 데이터 풀을 운영할 수 있습니다.

3.2.3 네트워크 진단

• 인덱스 연구 - Web3 사용자는 프로토콜 상태를 분석하고 비교하기 위해 다양한 지표를 생성합니다. 여러 객관적 지표(예: Nakaflow의 Satoshi 계수)를 실시간으로 연구하고 표시할 수 있습니다.

• 프로토콜 지표 - 활성 주소 수, 거래 수, 자산 유입/유출, 네트워크에서 발생하는 수수료 등의 데이터를 분석하여 프로토콜 성능을 분석할 수 있습니다. 이 정보는 특정 프로토콜 업데이트의 영향, MEV 상태 및 네트워크 상태를 평가하는 데 사용될 수 있습니다.

3.3 과제

온체인 데이터는 업계 가치를 높일 수 있는 고유한 이점을 가지고 있습니다. 그러나 이러한 이점을 완전히 실현하려면 업계 내부와 외부 모두에서 많은 과제를 해결해야 합니다.

• 데이터 거버넌스 부족 - 데이터 거버넌스는 각 데이터 기본 요소의 통합을 촉진하기 위해 일관되고 공유되는 데이터 정책 및 표준을 설정하는 프로세스입니다. 현재 각 온체인 프로토콜은 자체 표준을 설정하고 자체 데이터 유형을 검색합니다. 그러나 문제는 이러한 프로토콜 데이터를 집계하고 사용자에게 API 서비스를 제공하는 엔터티 간의 데이터 거버넌스가 부족하다는 것입니다. 이로 인해 서비스 간의 통합이 어려워지고 결과적으로 사용자가 안정적이고 포괄적인 통찰력을 얻기가 어렵습니다.

• 비용 비효율성 - 프로토콜에 콜드 데이터를 저장하면 사용자 데이터 보안과 서버 비용이 절약됩니다. 그러나 분석을 위해 데이터에 자주 액세스해야 하거나 상당한 컴퓨팅 리소스가 필요한 경우 해당 데이터를 블록체인에 저장하는 것이 비용 효율적이지 않을 수 있습니다.

• 오라클 문제 - 스마트 계약은 실제 세계의 데이터에 접근할 수 있는 경우에만 완벽하게 작동할 수 있습니다. 그러나 이러한 데이터가 항상 신뢰할 수 있거나 일관성이 있는 것은 아닙니다. 합의 알고리즘을 통해 무결성을 유지하는 블록체인과 달리 외부 데이터는 결정적이지 않습니다. Oracle 솔루션은 특정 애플리케이션 계층에 관계없이 외부 데이터 무결성, 품질 및 확장성을 보장하도록 발전해야 합니다.

• 프로토콜은 초기 단계에 있습니다. 프로토콜은 자체 토큰을 사용하여 사용자가 서비스를 계속 실행하고 비용을 지불하도록 장려합니다. 그러나 프로토콜을 운영하는 데 필요한 매개변수(예: 서비스 사용자의 정확한 정의 및 인센티브 체계)는 순진하게 관리되는 경우가 많습니다. 이는 프로토콜의 경제적 지속가능성을 검증하기 어렵다는 것을 의미합니다. 많은 프로토콜이 유기적으로 연결되어 데이터 파이프라인을 생성한다면 파이프라인이 제대로 작동할지에 대한 불확실성이 더 커질 것입니다.

• 느린 데이터 검색 시간 - 프로토콜은 일반적으로 많은 노드의 합의를 통해 트랜잭션을 처리하므로 기존 IT 비즈니스 논리에 비해 정보 처리 속도와 양이 제한됩니다. 이 병목 현상은 파이프라인을 구성하는 모든 프로토콜의 성능이 크게 향상되지 않는 한 해결하기 어렵습니다.

• Web3 데이터의 진정한 가치 - 블록체인은 아직 현실 세계와 연결되지 않은 고립된 시스템입니다. Web3 데이터를 수집할 때 수집된 데이터가 데이터 파이프라인 구축 비용을 감당할 만큼 충분한 의미 있는 통찰력을 제공할 수 있는지 고려해야 합니다.

• 익숙하지 않은 구문 - 기존 IT 데이터 인프라와 블록체인 인프라는 매우 다르게 작동합니다. 사용되는 프로그래밍 언어도 다르며 블록체인 인프라는 종종 블록체인 요구에 맞게 특별히 설계된 저수준 언어 또는 새로운 언어를 사용합니다. 이로 인해 새로운 개발자와 서비스 사용자는 새로운 프로그래밍 언어나 블록체인 데이터 작업에 대한 새로운 사고 방식을 배워야 하기 때문에 각 데이터 기본 요소를 처리하는 방법을 배우기가 어렵습니다.

4. 파이프라인 Web3 데이터 레고

현재 Web3 데이터 프리미티브 사이에는 연결이 없으며 독립적으로 데이터를 추출하고 처리합니다. 이로 인해 정보 처리에서 시너지 효과를 실험하기가 어렵습니다. 이 문제를 해결하기 위해 이 문서에서는 IT 시장에서 일반적으로 사용되는 데이터 파이프라인을 소개하고 기존 Web3 데이터 기본 요소를 이 파이프라인에 매핑합니다. 이렇게 하면 사용 사례가 더욱 구체적으로 만들어집니다.

4.1 일반 데이터 파이프라인

데이터 파이프라인 구축은 일상생활에서 반복되는 의사결정 과정을 개념화하고 자동화하는 과정과 같습니다. 이를 통해 특정 품질의 정보를 쉽게 이용할 수 있으며 의사결정에 사용됩니다. 처리해야 할 비정형 데이터가 많을수록, 정보 사용 빈도가 높을수록, 실시간 분석이 필요할수록 이러한 프로세스를 자동화하면 향후 의사결정에 필요한 사전 대응성을 확보하는 데 드는 시간과 비용을 절약할 수 있습니다.

위 다이어그램은 기존 IT 인프라 시장에서 데이터 파이프라인을 구축하기 위한 일반적인 아키텍처를 보여줍니다. 분석 목적에 적합한 데이터는 올바른 데이터 소스에서 수집되어 데이터의 성격과 분석 요구 사항에 따라 적절한 저장 솔루션에 저장됩니다. 예를 들어 데이터 레이크는 확장 가능하고 유연한 분석을 위한 원시 데이터 스토리지 솔루션을 제공하는 반면, 데이터 웨어하우스는 특정 비즈니스 로직에 최적화된 쿼리 및 분석을 위해 구조화된 데이터를 저장하는 데 중점을 둡니다. 그런 다음 데이터는 다양한 방식으로 통찰력이나 유용한 정보로 처리됩니다.

각 솔루션 수준은 패키지 서비스로도 제공됩니다. 데이터 추출부터 로딩까지 일련의 프로세스를 연결하는 ETL(Extract, Transform, Load) SaaS 제품군(예: FiveTran, Panoply, Hivo, Rivery)에 대한 관심도 높아지고 있습니다. 시퀀스가 항상 단방향인 것은 아니며, 조직의 특정 요구 사항에 따라 레이어는 다양한 방식으로 서로 연결될 수 있습니다. 데이터 파이프라인을 구축할 때 가장 중요한 것은 각 서버 계층에 데이터를 주고받을 때 발생할 수 있는 데이터 손실 위험을 최소화하는 것입니다. 이는 서버 분리를 최적화하고 안정적인 데이터 저장 및 처리 솔루션을 사용하여 달성할 수 있습니다.

4.2 온체인 환경을 갖춘 파이프라인

앞서 소개한 데이터 파이프라인의 개념도는 위 그림과 같이 온체인 환경에 적용할 수 있지만, 각 기본 구성요소가 어느 정도 데이터 파이프라인에 의존하기 때문에 완전한 분산형 파이프라인을 형성할 수 없다는 점에 유의해야 합니다. 중앙 집중식 오프체인 솔루션. 또한 위 그림에는 현재 Web3 솔루션이 모두 포함되어 있지 않으며 분류의 경계가 모호할 수 있습니다. 예를 들어 KYVE는 스트리밍 미디어 플랫폼 역할 외에도 데이터 레이크 기능도 포함하고 있습니다. 데이터 파이프라인 자체로 간주됩니다. 또한 Space and Time은 분산형 데이터베이스로 분류되지만 RestAPI, 스트리밍 등의 API 게이트웨이 서비스와 ETL 서비스를 제공합니다.

4.2.1 캡처/처리

일반 사용자나 dApp이 서비스를 효율적으로 소비/운영하기 위해서는 트랜잭션, 상태, 로그 이벤트 등 프로토콜 내에서 주로 생성되는 데이터 소스를 쉽게 식별하고 접근할 수 있어야 합니다. 이 계층은 미들웨어가 작동하여 오라클, 메시징, 인증 및 API 관리를 포함한 프로세스를 지원합니다. 주요 솔루션은 다음과 같습니다.

스트리밍/인덱싱 플랫폼

Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, 다양한 프로토콜의 블록 탐색기 등

Node-as-a-Service 및 기타 RPC/API 서비스

신탁

신탁

API 3, Band Protocol, Chainlink, Nest Protocol, Pyth, Supra oracles 등

4.2.2 저장

Web2 스토리지 솔루션과 비교하여 Web3 스토리지 솔루션은 지속성 및 분산화와 같은 몇 가지 장점을 가지고 있습니다. 그러나 높은 비용, 데이터 업데이트 및 쿼리의 어려움 등 몇 가지 단점도 있습니다. 결과적으로 이러한 단점을 해결하고 Web3에서 구조적 및 동적 데이터를 효율적으로 처리할 수 있는 다양한 솔루션이 등장했습니다. 각 솔루션은 처리되는 데이터 유형, 구조적인지 여부, 쿼리 기능이 내장되어 있는지 여부 등 서로 다른 특징을 가지고 있습니다. 에.

분산형 스토리지 네트워크

Arweave, Filecoin, KYVE, Sia, Storj 등

분산형 데이터베이스

Arweave 기반 데이터베이스(Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland 등

* 각 프로토콜에는 서로 다른 영구 저장 메커니즘이 있습니다. 예를 들어 Arweave는 Ethereum 스토리지와 유사한 블록체인 기반 모델로 데이터를 체인에 영구적으로 저장하는 반면, Filecoin, Sia 및 Storj는 계약 기반 모델로 데이터를 오프체인에 저장합니다.

4.2.3 변환

Web3의 맥락에서 번역 레이어는 스토리지 레이어만큼 중요합니다. 이는 블록체인의 구조가 기본적으로 분산된 노드 모음으로 구성되어 확장 가능한 백엔드 로직을 쉽게 사용할 수 있기 때문입니다. AI 산업에서는 사람들이 연합 학습 분야의 연구에 이러한 이점을 활용하는 방법을 적극적으로 모색하고 있으며, 기계 학습 및 AI 운영 전용 프로토콜이 등장했습니다.

데이터 트레이닝/모델링/컴퓨팅

Akash, Bacalhau, Bittensor, Gensyn, Golem, Together 등

* 연합학습은 원본 모델을 여러 네이티브 클라이언트에 배포하고, 저장된 데이터를 활용하여 훈련시킨 후, 학습된 매개변수를 중앙 서버에 수집하여 인공지능 모델을 훈련시키는 방식입니다.

4.2.4 분석/이용

아래 나열된 대시보드 서비스와 최종 사용자 통찰력 및 분석 솔루션은 사용자가 특정 프로토콜에서 다양한 통찰력을 관찰하고 발견할 수 있는 플랫폼입니다. 이러한 솔루션 중 일부는 최종 제품에 API 서비스도 제공합니다. 그러나 이러한 솔루션의 데이터는 대부분 별도의 오프체인 도구를 사용하여 데이터를 저장하고 처리하기 때문에 데이터가 항상 정확하지는 않다는 점에 유의하는 것이 중요합니다. 솔루션 간의 오류도 관찰할 수 있습니다.

동시에, Google Cloud와 같은 중앙 집중식 플랫폼처럼 특정 비즈니스 로직을 트리거/실행하는 것과 마찬가지로 스마트 계약 실행을 자동/트리거할 수 있는 Web3 Functions라는 플랫폼이 있습니다. 이 플랫폼을 사용하면 사용자는 통찰력을 얻기 위해 온체인 데이터를 처리하는 대신 Web3 기본 방식으로 비즈니스 논리를 구현할 수 있습니다.

대시보드 서비스

Dune Analytics, Flipside Crypto, Footprint, Transpose 등

최종 사용자 통찰력 및 분석

Chainalaysis, Glassnode, Messari, Nansen, The Tie, Token Terminal 등

Web3 Functions

Chainlink의 기능, Gelato Network 등

5. 결론

칸트가 말했듯이 우리는 사물의 겉모습만 볼 수 있을 뿐 사물의 본질은 볼 수 없습니다. 그럼에도 우리는 정보와 지식을 처리하기 위해 '데이터'라는 관찰 기록을 활용하고, 정보기술의 혁신이 문명의 발전을 어떻게 추동하는지를 살펴본다. 따라서 Web3 마켓플레이스에서 데이터 파이프라인을 구축하는 것은 분산화 외에도 실제로 이러한 기회를 포착하는 출발점으로서 중요한 역할을 할 수 있습니다. 몇 가지 생각을 하며 이 글을 마무리하고 싶다.

5.1 스토리지 솔루션의 역할이 더욱 중요해질 것입니다

데이터 파이프라인을 갖추기 위한 가장 중요한 전제 조건은 데이터 및 API 거버넌스를 확립하는 것입니다. 점점 더 다양해지는 생태계에서 각 프로토콜이 생성하는 사양은 계속해서 재창조될 것이며, 멀티체인 생태계를 통해 단편화된 거래 기록으로 인해 개인이 포괄적인 통찰력을 얻기가 더욱 어려워질 것입니다. 그러면 '스토리지 솔루션'은 단편화된 정보를 수집하고 각 프로토콜의 사양을 업데이트하여 통합된 데이터를 통일된 형식으로 제공할 수 있는 개체입니다. 우리는 Snowflake 및 Databricks와 같은 기존 시장 스토리지 솔루션이 빠르게 성장하고 있고 대규모 고객 기반을 보유하고 있으며 파이프라인의 다양한 수준에서 작동하여 수직적으로 통합되고 업계를 선도하고 있음을 관찰합니다.

5.2 데이터 소스 시장의 기회

데이터에 대한 접근성이 높아지고 처리가 개선되면서 성공적인 사용 사례가 나타나기 시작했습니다. 이는 데이터 소스와 수집 도구가 폭발적으로 증가하는 긍정적인 순환 효과를 창출합니다. 2010년 이후 매년 수집되는 디지털 데이터의 유형과 양은 데이터 파이프라인 구축 기술의 엄청난 발전 덕분에 2010년 이후 기하급수적으로 증가했습니다. 이러한 배경을 Web3 시장에 적용하면 향후 많은 데이터 소스가 온체인에서 반복적으로 생성될 수 있습니다. 이는 블록체인이 다양한 사업 분야로 확장된다는 의미이기도 하다. 이 시점에서 우리는 Ocean Protocol이나 Helium 및 XNET과 같은 DeWi(분산형 무선) 솔루션과 같은 데이터 마켓플레이스와 스토리지 솔루션을 통해 데이터 수집이 발전할 것으로 기대할 수 있습니다.

5.3 중요한 것은 의미 있는 데이터와 분석이다

하지만 가장 중요한 것은 정말로 필요한 인사이트를 추출하기 위해 어떤 데이터를 준비해야 하는지 계속해서 묻는 것입니다. 검증을 위한 명시적인 가정 없이 데이터 파이프라인을 구축하기 위해 데이터 파이프라인을 구축하는 것보다 더 낭비적인 것은 없습니다. 기존 시장은 데이터 파이프라인 구축을 통해 수많은 혁신을 이루었지만, 반복되는 무의미한 실패로 인해 셀 수 없는 대가를 치르기도 했습니다. 기술 스택의 발전에 대해 건설적인 논의를 하는 것도 좋지만, 업계에서는 블록스페이스에 어떤 데이터를 저장해야 하는지, 그 데이터를 어떤 용도로 사용해야 하는지 등 좀 더 근본적인 문제를 고민하고 논의하는 시간이 필요하다. . 목표는 실행 가능한 인텔리전스와 사용 사례를 통해 Web3의 가치를 실현하는 것이어야 하며, 이 과정에서 여러 기본 구성 요소를 개발하고 파이프라인을 완성하는 것이 이 목표를 달성하기 위한 수단입니다.