원본 편집: BlockTurbo
원본 편집: BlockTurbo
생성적 인공 지능(AI) 분야는 지난 2주 동안 획기적인 신제품 출시와 최첨단 통합이 등장하면서 논란의 여지가 없는 핫스팟이었습니다. OpenAI는 매우 기대되는 GPT-4 모델을 출시했고 Midjourney는 최신 V 5 모델을 출시했으며 Stanford는 Alpaca 7 B 언어 모델을 출시했습니다. 한편 Google은 Workspace 제품군 전체에 생성 AI를 출시했고 Anthropic은 AI 비서 Claude를 출시했으며 Microsoft는 강력한 생성 AI 도구인 Copilot을 Microsoft 365 제품군에 통합했습니다.
기업이 AI 및 자동화의 가치와 시장에서 경쟁력을 유지하기 위해 이러한 기술을 채택해야 할 필요성을 깨닫기 시작하면서 AI 개발 및 채택 속도가 가속화되고 있습니다.
AI 개발이 순조롭게 진행되고 있는 것처럼 보이지만 여전히 해결해야 할 몇 가지 근본적인 문제와 병목 현상이 있습니다. 더 많은 기업과 소비자가 AI를 채택함에 따라 컴퓨팅 성능의 병목 현상이 나타나고 있습니다. AI 시스템에 필요한 컴퓨팅 양은 몇 달마다 두 배로 증가하고 있으며 컴퓨팅 리소스 공급은 보조를 맞추기 위해 고군분투하고 있습니다. 또한 대규모 AI 모델 교육 비용은 계속 치솟아 지난 10년 동안 매년 약 3,100% 증가했습니다.
첫 번째 레벨 제목
인공 지능(AI) 및 기계 학습(ML) 기초
AI 분야는 딥 러닝, 신경망, 기본 모델과 같은 기술 용어가 복잡성을 가중시키는 까다로울 수 있습니다. 지금은 더 쉽게 이해할 수 있도록 이러한 개념을 단순화해 보겠습니다.
인공 지능은 인지, 추론 및 의사 결정과 같은 인간 지능이 필요한 작업을 컴퓨터가 수행할 수 있도록 하는 알고리즘 및 모델 개발을 포함하는 컴퓨터 과학의 한 분야입니다.
기계 학습(ML)은 데이터의 패턴을 인식하고 이러한 패턴을 기반으로 예측을 수행하는 훈련 알고리즘을 포함하는 AI의 하위 집합입니다.
딥 러닝은 입력 데이터를 분석하고 출력을 생성하기 위해 함께 작동하는 상호 연결된 노드 레이어로 구성된 신경망을 사용하는 ML 유형입니다.
첫 번째 레벨 제목
AI 및 ML 산업 문제
AI의 발전은 주로 세 가지 요인에 의해 주도됩니다.
알고리즘 혁신데이터
데이터: AI 모델은 훈련을 위한 연료로 대규모 데이터 세트를 사용하므로 데이터의 패턴과 관계에서 학습할 수 있습니다.
계산하다: AI 모델을 학습시키기 위해 필요한 복잡한 계산은 많은 컴퓨팅 처리 능력을 필요로 합니다.
그러나 인공지능의 발전을 가로막는 두 가지 주요 문제가 있다. 2021년에 데이터에 대한 액세스는 AI 비즈니스가 AI 개발에서 직면하는 가장 큰 과제입니다. 컴퓨팅 관련 문제는 특히 높은 수요로 인해 온디맨드 방식으로 컴퓨팅 리소스에 액세스할 수 없기 때문에 작년에 데이터를 넘어섰습니다.
두 번째 문제는 알고리즘 혁신의 비효율성과 관련이 있습니다. 연구원이 이전 모델을 기반으로 모델을 점진적으로 개선하는 동안 이러한 모델에서 추출한 인텔리전스 또는 패턴은 항상 손실됩니다.
보조 제목
컴퓨팅 병목 현상
기본 기계 학습 모델을 교육하는 것은 리소스 집약적이며 종종 오랜 시간 동안 많은 수의 GPU를 사용합니다. 예를 들어 Stability.AI는 AI 모델을 교육하기 위해 AWS 클라우드에서 실행되는 4,000개의 Nvidia A 100 GPU가 필요하며 한 달에 5천만 달러 이상의 비용이 듭니다. 반면 OpenAI의 GPT-3는 1,000개의 Nvidia V100 GPU를 사용하여 훈련하는 데 1,200만 달러의 비용이 듭니다.
AI 회사는 일반적으로 자체 하드웨어에 투자하고 확장성을 희생하거나 클라우드 공급자를 선택하고 최고 비용을 지불하는 두 가지 선택에 직면합니다. 대기업은 후자의 옵션을 선택할 수 있지만 소규모 기업은 그런 사치를 누리지 못할 수 있습니다. 자본 비용이 상승함에 따라 대규모 클라우드 공급자를 위한 인프라 확장 비용이 거의 동일하게 유지되는 경우에도 신생 기업은 클라우드 지출을 줄여야 합니다.
보조 제목
비효율과 협업 부족
점점 더 많은 AI 개발이 학계가 아닌 대기업에서 비밀리에 이루어지고 있습니다. 이러한 추세로 인해 Microsoft의 OpenAI 및 Google의 DeepMind와 같은 회사가 서로 경쟁하고 모델을 비공개로 유지하면서 현장에서 협업이 줄어들었습니다.
협업 부족은 비효율로 이어집니다. 예를 들어 독립적인 연구 팀이 OpenAI의 GPT-4의 보다 강력한 버전을 개발하려는 경우 처음부터 모델을 재교육해야 하며 기본적으로 GPT-4가 교육한 모든 것을 다시 학습해야 합니다. GPT-3의 교육 비용만 1,200만 달러라는 점을 고려하면 소규모 ML 연구실은 불리한 입장에 놓이게 되고 AI 개발의 미래는 거대 기술 기업의 통제에 더욱 몰두하게 됩니다.
첫 번째 레벨 제목
기계 학습을 위한 분산 컴퓨팅 네트워크
분산형 컴퓨팅 네트워크는 네트워크에 대한 CPU 및 GPU 리소스의 기여를 장려함으로써 컴퓨팅 리소스를 찾는 엔터티를 여분의 컴퓨팅 성능이 있는 시스템에 연결합니다. 개인이나 조직이 유휴 리소스를 제공하기 위한 추가 비용이 없기 때문에 분산 네트워크는 중앙 집중식 공급자에 비해 저렴한 가격을 제공할 수 있습니다.
분산형 컴퓨팅 네트워크에는 범용과 특수 목적의 두 가지 주요 유형이 있습니다. 범용 컴퓨팅 네트워크는 분산형 클라우드처럼 작동하여 다양한 애플리케이션에 컴퓨팅 리소스를 제공합니다. 반면 목적에 맞게 구축된 컴퓨팅 네트워크는 특정 사용 사례에 맞게 조정됩니다. 예를 들어 렌더링 네트워크는 렌더링 워크로드에 중점을 둔 전용 컴퓨팅 네트워크입니다.
보조 제목
기계 학습 컴퓨팅 워크로드
머신 러닝은 네 가지 주요 컴퓨팅 워크로드로 분류할 수 있습니다.
데이터 전처리: 원시 데이터는 일반적으로 데이터 정리 및 정규화와 같은 활동을 포함하는 ML 모델에서 사용할 수 있는 형식으로 준비되고 변환됩니다.
기차: 기계 학습 모델은 데이터의 패턴과 관계를 학습하기 위해 대규모 데이터 세트에서 훈련됩니다. 훈련하는 동안 모델의 매개변수와 가중치는 오류를 최소화하도록 조정됩니다.
미세 조정: ML 모델은 더 작은 데이터 세트로 더욱 최적화되어 특정 작업의 성능을 향상시킬 수 있습니다.
추리: 학습되고 미세 조정된 모델을 실행하여 사용자 쿼리에 대한 응답으로 예측합니다.
보조 제목
기계 학습 전용 컴퓨팅 네트워크
병렬화 및 유효성 검사와 관련된 두 가지 문제로 인해 교육 부분에는 특수 목적의 컴퓨팅 네트워크가 필요합니다.
ML 모델의 교육은 상태 종속적입니다. 즉, 계산 결과가 계산의 현재 상태에 따라 달라지므로 분산 GPU 네트워크를 활용하는 것이 더 복잡해집니다. 따라서 ML 모델의 병렬 훈련을 위해 설계된 특정 네트워크가 필요합니다.
더 중요한 문제는 유효성 검사와 관련이 있습니다. 신뢰가 최소화된 ML 모델 학습 네트워크를 구축하려면 네트워크에 시간과 리소스를 낭비하는 전체 계산을 반복하지 않고 계산 작업을 검증할 수 있는 방법이 있어야 합니다.
Gensyn
Gensyn은 분산 및 분산 방식으로 교육 모델의 병렬화 및 유효성 검사 문제에 대한 솔루션을 찾은 ML 전용 컴퓨팅 네트워크입니다. 이 프로토콜은 병렬화를 사용하여 더 큰 컴퓨팅 워크로드를 작업으로 분할하고 비동기식으로 네트워크에 푸시합니다. 검증 문제를 해결하기 위해 Gensyn은 확률적 학습 증명, 그래프 기반 핀포인트 프로토콜, 스테이킹 및 슬래싱 기반 인센티브 시스템을 사용합니다.
Gensyn 네트워크가 아직 가동되지는 않았지만 팀은 네트워크에서 V100에 해당하는 GPU에 대해 약 $0.40의 시간당 비용을 예측합니다. 이 추정치는 Merge 이전에 유사한 GPU를 사용하여 시간당 $0.20에서 $0.35의 이더리움 채굴자를 기반으로 합니다. 이 추정치가 100% 벗어나더라도 Gensyn의 컴퓨팅 비용은 여전히 AWS 및 GCP에서 제공하는 온디맨드 서비스보다 훨씬 낮을 것입니다.
Together
보조 제목
Bittensor: 분산형 머신 인텔리전스
Bittensor는 머신 러닝의 비효율성을 해결하는 동시에 표준화된 입력 및 출력 인코딩을 사용하여 오픈 소스 네트워크에서 지식 생산을 장려함으로써 모델 상호 운용성을 가능하게 함으로써 연구자가 협업하는 방식을 변화시킵니다.
Bittensor에서 채굴자는 고유한 ML 모델을 통해 네트워크에 지능형 서비스를 제공한 것에 대해 네트워크의 기본 자산인 TAO로 보상을 받습니다. 네트워크에서 모델을 교육할 때 채굴자는 다른 채굴자와 정보를 교환하여 학습 속도를 높입니다. TAO를 스테이킹함으로써 사용자는 전체 Bittensor 네트워크의 인텔리전스를 사용하고 필요에 따라 활동을 조정하여 P2P 인텔리전스 시장을 형성할 수 있습니다. 또한 네트워크의 유효성 검사기를 통해 네트워크의 스마트 계층 위에 애플리케이션을 구축할 수 있습니다.
Bittensor 작동 방식
Bittensor는 다양한 문제에 특화된 여러 모델을 결합하여 보다 정확한 전체 모델을 생성하는 ML 기술인 분산형 MoE(Mix-of-Experts)를 구현하는 오픈 소스 P2P 프로토콜입니다. 이것은 최적의 출력을 생성하기 위해 입력을 지능적으로 라우팅하는 방법을 배우기 위해 일련의 전문가 모델에 대해 교육되는 게이팅 계층이라는 라우팅 모델을 교육함으로써 수행됩니다. 이를 달성하기 위해 유효성 검사기는 상호 보완적인 모델 간에 연합을 동적으로 형성합니다. 스파스 컴퓨팅은 대기 시간 병목 현상을 해결하는 데 사용됩니다.
Bittensor의 인센티브는 특수 모델을 혼합으로 끌어들이고 이해 관계자가 정의한 더 큰 문제를 해결하는 데 틈새 역할을 합니다. 각 채굴자는 고유한 모델(신경망)을 나타내며 Bittensor는 무허가형 스마트 시장 시스템에 의해 관리되는 모델의 자체 조정 모델로 작동합니다.
검증자
검증자
Bittensor에서 유효성 검사기는 네트워크의 MoE 모델에 대한 게이팅 계층 역할을 하고 훈련 가능한 API 역할을 하며 네트워크 상단에서 애플리케이션 개발을 가능하게 합니다. 그들의 스테이킹은 인센티브 환경을 관리하고 광부가 해결하는 문제를 결정합니다. 유효성 검사기는 그에 따라 보상하고 순위에 대한 합의에 도달하기 위해 채굴자가 제공하는 가치를 이해합니다. 순위가 높은 채굴자는 인플레이션 블록 보상에서 더 높은 몫을 받습니다.
또한 유효성 검사기는 최상위 채굴자로부터 채권을 얻고 미래 보상의 일부를 받기 때문에 정직하고 효율적으로 모델을 발견하고 평가하도록 장려됩니다. 이는 광부들이 경제적으로 광부 순위에 "결합"하는 메커니즘을 효과적으로 생성합니다. 프로토콜의 합의 메커니즘은 네트워크 공유의 최대 50%에 의한 담합에 저항하도록 설계되어 자신의 채굴자를 부정직하게 높게 평가하는 것이 재정적으로 불가능합니다.
갱부
네트워크의 채굴자는 훈련되고 추론되며, 전문 지식을 기반으로 동료와 선택적으로 정보를 교환하고 그에 따라 모델의 가중치를 업데이트합니다. 메시지를 교환할 때 채굴자는 지분에 따라 유효성 검사기 요청의 우선 순위를 지정합니다. 현재 온라인에는 3523개의 광부가 있습니다.
Bittensor 네트워크에서 채굴자 간의 정보 교환을 통해 채굴자는 동료의 전문 지식을 활용하여 자신의 모델을 개선할 수 있으므로 보다 강력한 AI 모델을 생성할 수 있습니다. 이것은 본질적으로 더 복잡한 AI 시스템을 만들기 위해 서로 다른 ML 모델을 연결할 수 있는 AI 공간에 구성 가능성을 제공합니다.
복합 지능
요약하다
요약하다
분산형 기계 학습 생태계가 성숙함에 따라 다양한 컴퓨팅과 지능형 네트워크 간에 시너지 효과가 있을 것입니다. 예를 들어 Gensyn과 Together는 AI 생태계의 하드웨어 조정 계층으로 사용할 수 있으며 Bittensor는 지능형 조정 계층으로 사용할 수 있습니다.
공급 측면에서 이전에 ETH를 채굴한 대규모 공개 암호화폐 채굴자들은 분산형 컴퓨팅 네트워크에 리소스를 제공하는 데 큰 관심을 보였습니다. 예를 들어, Akash는 네트워크 GPU 출시를 앞두고 대형 채굴자로부터 100만 GPU에 대한 약정을 받았습니다. 또한 대규모 개인 비트코인 채굴자 중 하나인 Foundry는 이미 Bittensor에서 채굴하고 있습니다.
이 보고서에서 논의된 프로젝트의 배후에 있는 팀은 과장된 광고를 위해 암호화 기반 네트워크를 구축하는 것이 아니라 업계의 문제를 해결할 수 있는 암호화의 잠재력을 깨달은 AI 연구원 및 엔지니어 팀입니다.
교육 효율성을 개선하고 리소스를 풀링하며 더 많은 사람들이 대규모 AI 모델에 기여할 수 있는 기회를 제공함으로써 분산형 ML 네트워크는 AI 개발을 가속화하고 미래에 일반 인공 지능을 더 빠르게 잠금 해제할 수 있습니다.
IOS
Android