Foresight Ventures: 탈중앙 컴퓨팅 파워 네트워크에 대한 합리적인 관점

첫 번째 레벨 제목

TL;DR

• 현재 AI + Crypto 조합에는 분산 컴퓨팅 성능과 ZKML의 두 가지 주요 방향이 있으며 ZKML에 대해서는 이전 기사를 참조하십시오.이 기사는 분산형 분산 컴퓨팅 파워 네트워크를 분석하고 반영합니다.。 

• AI 대형 모델의 발전 추세에 따라컴퓨팅 파워 자원은 향후 10년의 큰 전쟁터가 될 것이며, 또한 미래 인류 사회에서 가장 중요한 것입니다., 상업적 경쟁에 머물뿐만 아니라 강대국 게임의 전략적 자원이됩니다. 앞으로 고성능 컴퓨팅 인프라에 대한 투자와 컴퓨팅 파워 리저브는 기하급수적으로 증가할 것입니다.

• 분산 분산 컴퓨팅 파워 네트워크는 AI 대형 모델 훈련에 대한 수요가 가장 크지만 가장 큰 도전과 기술적 병목 현상에 직면해 있습니다. 복잡한 데이터 동기화 및 네트워크 최적화 문제에 대한 필요성을 포함합니다. 또한 데이터 개인 정보 보호 및 보안도 중요한 제약 조건입니다. 일부 기존 기술은 예비 솔루션을 제공할 수 있지만 엄청난 계산 및 통신 오버헤드로 인해 대규모 분산 교육 작업에는 여전히 적용할 수 없습니다.

• 분산형 분산 컴퓨팅 파워 네트워크는 모델 추론에 도달할 가능성이 더 높으며 미래 증분 공간도 충분히 크다는 것을 예측할 수 있습니다. 그러나 통신 지연, 데이터 개인 정보 보호 및 모델 보안과 같은 문제에도 직면해 있습니다. 모델 교육과 비교할 때 추론은 계산 복잡성과 데이터 상호 작용이 적고 분산 환경에 더 적합합니다.

• 첫 번째 레벨 제목

1. 분산 컴퓨팅 파워 - 대형 모델 훈련

우리는 훈련에서 분산 컴퓨팅 능력의 적용에 대해 논의하고 있으며 일반적으로 큰 언어 모델의 훈련에 중점을 둡니다.주된 이유는 작은 모델의 훈련에는 많은 컴퓨팅 능력이 필요하지 않기 때문입니다.분산 데이터 개인 정보 보호 및 무리를 수행하기 위해 프로젝트의 문제는 비용 효율적이지 않으며 직접 중앙에서 해결하는 것이 좋습니다. 대형 언어 모델은 컴퓨팅 파워에 대한 엄청난 수요를 가지고 있으며 현재 폭발 초기 단계에 있습니다.2012년부터 2018년까지 AI의 컴퓨팅 수요는 4개월마다 두 배가 될 것입니다. 향후 5~8년은 여전히 ​​엄청난 증분 수요가 될 것으로 판단됩니다.

보조 제목

 (NVIDIA NeMo Megatron Framework）

1. 전반적인 교육 과정

예를 들어 1,750억 개의 매개변수가 있는 대형 모델을 교육합니다. 모델의 크기가 크기 때문에 많은 GPU 장치에서 병렬로 훈련해야 합니다. 100개의 GPU가 있는 중앙 집중식 컴퓨터실이 있고 각 장치에 32GB의 메모리가 있다고 가정합니다.

• 데이터 준비: 우선 인터넷 정보, 뉴스, 도서 등 다양한 데이터를 담고 있는 방대한 데이터셋이 필요하다. 이러한 데이터는 훈련 전에 텍스트 정리, 토큰화, 어휘 구성 등을 포함하여 사전 처리되어야 합니다.

• 데이터 세분화: 처리된 데이터는 여러 GPU에서 병렬 처리를 위해 여러 배치로 나뉩니다. 선택한 일괄 처리 크기가 512라고 가정합니다. 즉, 각 일괄 처리에는 512개의 텍스트 시퀀스가 ​​포함됩니다. 그런 다음 전체 데이터 세트를 배치로 분할하여 배치 대기열을 형성합니다.

• 장치 간 데이터 전송: 각 훈련 단계가 시작될 때 CPU는 배치 대기열에서 배치를 가져온 다음 이 배치의 데이터를 PCIe 버스를 통해 GPU로 보냅니다. 각 텍스트 시퀀스의 평균 길이가 1024 토큰이라고 가정하면 각 배치의 데이터 크기는 약 512 * 1024 * 4 B = 2MB입니다(각 토큰이 4바이트 단정밀도 부동 소수점 숫자로 표시된다고 가정). 이 데이터 전송 프로세스는 일반적으로 몇 밀리초 밖에 걸리지 않습니다.

• 병렬 훈련: 각 GPU 장치는 데이터를 수신한 후 정방향 패스 및 역방향 패스 계산을 시작하여 각 매개변수의 그래디언트를 계산합니다. 모델의 크기가 크기 때문에 단일 GPU의 메모리는 모든 매개변수를 저장할 수 없으므로 모델 병렬 기술을 사용하여 모델 매개변수를 여러 GPU에 분산시킵니다.

• 기울기 집계 및 매개변수 업데이트: 역전파 계산이 완료된 후 각 GPU는 매개변수 일부의 기울기를 얻습니다. 그런 다음 이러한 그래디언트는 전역 그래디언트를 계산하기 위해 모든 GPU 장치에서 집계되어야 합니다. 이를 위해서는 네트워크를 통한 데이터 전송이 필요하며 25Gbps 네트워크를 가정하면 700GB의 데이터를 전송하는 데 약 224초가 걸립니다(각 매개변수에 대한 단일 정밀도 부동 소수점을 가정할 때 1,750억 개의 매개변수에 대해 약 700GB). 그런 다음 각 GPU는 전역 기울기에 따라 저장된 매개변수를 업데이트합니다.

• 동기화: 매개변수가 업데이트된 후 모든 GPU 장치를 동기화하여 다음 훈련 단계에서 모두 일관된 모델 매개변수를 사용하도록 해야 합니다. 또한 네트워크를 통한 데이터 전송이 필요합니다.

• 훈련 단계 반복: 모든 배치의 훈련이 완료되거나 미리 정해진 훈련 라운드(epoch) 횟수에 도달할 때까지 위의 단계를 반복합니다.

보조 제목

2. 통신 오버헤드의 병목 현상:

통신의 병목 현상은 현재 분산 컴퓨팅 전원 네트워크의 원인이기도 합니다.할 수 없어대규모 언어 모델 훈련이 필요한 이유.

각 노드는 함께 작동하기 위해 정보를 자주 교환해야 하므로 통신 오버헤드가 발생합니다. 대규모 언어 모델의 경우 이 문제는 모델의 매개변수 수가 많기 때문에 특히 심각합니다. 통신 오버헤드는 다음과 같은 측면으로 나뉩니다.

• 데이터 전송: 노드는 학습 중에 모델 매개변수와 그래디언트 정보를 자주 교환해야 합니다. 이를 위해서는 네트워크에서 많은 양의 데이터를 전송해야 하며 많은 양의 네트워크 대역폭을 소비합니다. 네트워크 상태가 좋지 않거나 컴퓨팅 노드 간의 거리가 멀면 데이터 전송 지연이 높아져 통신 오버헤드가 더욱 증가합니다.

• 동기화 문제: 훈련 중에는 올바른 훈련을 위해 노드가 함께 작동해야 합니다. 이를 위해서는 모델 매개변수 업데이트, 글로벌 그래디언트 계산 등과 같은 노드 간의 빈번한 동기화 작업이 필요합니다. 이러한 동기 작업은 네트워크에서 많은 양의 데이터를 전송해야 하며 모든 노드가 작업을 완료할 때까지 기다려야 하므로 많은 통신 오버헤드와 대기 시간이 발생합니다.

• 기울기 누적 및 업데이트: 학습 과정에서 각 노드는 자신의 기울기를 계산하고 누적 및 업데이트를 위해 다른 노드로 전송해야 합니다. 이를 위해서는 네트워크에서 많은 양의 그래디언트 데이터를 전송해야 하고, 모든 노드가 그래디언트 계산 및 전송을 완료할 때까지 기다려야 하므로 통신 오버헤드가 많은 이유이기도 합니다.

• 데이터 일관성: 각 노드의 모델 파라미터가 일치하는지 확인해야 합니다. 이를 위해서는 빈번한 데이터 체크섬과 노드 간의 동기화 작업이 필요하며 이로 인해 많은 양의 통신 오버헤드가 발생합니다.

매개변수 및 기울기의 압축, 효율적인 병렬 전략 등과 같이 통신 오버헤드를 줄이는 몇 가지 방법이 있지만 이러한 방법은 추가 계산 부담을 유발하거나 모델의 훈련 효과에 부정적인 영향을 미칠 수 있습니다. 또한 이러한 방법은 특히 네트워크 상태가 좋지 않거나 컴퓨팅 노드 간의 거리가 먼 경우 통신 오버헤드 문제를 완전히 해결할 수 없습니다.

예로서:

분산형 분산 컴퓨팅 파워 네트워크

GPT-3 모델에는 1,750억 개의 매개변수가 있으며 단정밀도 부동 소수점 숫자(매개변수당 4바이트)를 사용하여 이러한 매개변수를 나타내는 경우 이러한 매개변수를 저장하려면 최대 700GB의 메모리가 필요합니다. 분산 훈련에서 이러한 매개변수는 컴퓨팅 노드 간에 자주 전송되고 업데이트되어야 합니다.

100개의 컴퓨팅 노드가 있다고 가정하면 각 노드는 각 단계의 모든 매개변수를 업데이트해야 하며 각 단계는 약 70TB(700GB* 100 )의 데이터를 전송해야 합니다. 한 단계에 1초가 걸린다고 가정하면(매우 낙관적인 가정) 초당 70TB의 데이터를 전송해야 합니다. 대역폭에 대한 이러한 요구는 이미 대부분의 네트워크의 요구를 훨씬 능가하며 실행 가능성의 문제이기도 합니다.

실제로는 통신 지연 및 네트워크 정체로 인해 데이터 전송 시간이 1초보다 훨씬 길어질 수 있습니다. 이는 컴퓨팅 노드가 실제 계산을 수행하는 대신 데이터 전송을 기다리는 데 많은 시간을 소비해야 할 수도 있음을 의미합니다. 이는 훈련의 효율성을 크게 떨어뜨리게 되며, 이러한 효율성 감소는 기다림으로 해결되는 것이 아니라 실현 가능한 것과 불가능한 것의 차이가 발생하여 전체 훈련 과정을 실현 불가능하게 만들 것입니다.

중앙집중식 전산실

중앙집중식 컴퓨터실 환경에서도 대형 모델의 교육에는 여전히 많은 통신 최적화가 필요합니다.

중앙 집중식 전산실 환경에서는 고성능 컴퓨팅 장치를 클러스터로 사용하고 고속 네트워크를 통해 연결하여 컴퓨팅 작업을 공유합니다. 그러나 이러한 고속 네트워크 환경에서 매우 많은 매개변수를 가진 모델을 훈련하더라도 다양한 컴퓨팅 장치 간에 모델의 매개변수와 기울기가 자주 전송되고 업데이트되어야 하기 때문에 통신 오버헤드는 여전히 병목 현상입니다. .

처음에 언급했듯이 서버당 네트워크 대역폭이 25Gbps인 100개의 컴퓨팅 노드를 가정합니다. 모든 서버가 훈련 단계마다 모든 매개변수를 업데이트해야 하는 경우 훈련 단계당 약 700GB의 데이터를 전송하는 데 ~224초가 걸립니다. 개발자는 중앙 집중식 컴퓨터실을 활용하여 데이터 센터 내부의 네트워크 토폴로지를 최적화하고 모델 병렬 처리와 같은 기술을 사용하여 이 시간을 크게 줄일 수 있습니다.

반면에 분산 환경에서 동일한 학습을 ​​수행하는 경우 전 세계에 여전히 100개의 컴퓨팅 노드가 분산되어 있다고 가정하면 각 노드의 평균 네트워크 대역폭은 1Gbps에 불과합니다. 이 경우 동일한 700GB의 데이터를 전송하는 데 ~5600초가 걸리며 이는 중앙 집중식 전산실보다 훨씬 더 긴 시간입니다. 또한 네트워크 지연 및 혼잡으로 인해 실제 소요 시간은 더 길어질 수 있습니다.

그러나 분산 컴퓨팅 파워 네트워크의 상황에 비해 중앙 집중식 전산실 환경에서 통신 오버헤드를 최적화하는 것은 상대적으로 쉽습니다. 중앙 집중식 컴퓨터실 환경에서 컴퓨팅 장치는 일반적으로 동일한 고속 네트워크에 연결되어 있으며 네트워크의 대역폭과 지연이 상대적으로 양호합니다. 분산 컴퓨팅 파워 네트워크에서 컴퓨팅 노드는 전 세계에 분산될 수 있고 네트워크 조건이 상대적으로 열악할 수 있으므로 통신 오버헤드 문제가 더욱 심각해집니다.

보조 제목

（Data used to train LLM models）

3. 분산 컴퓨팅 파워 네트워크가 이러한 최적화를 수행할 수 없는 이유

할 수 있지만 중앙 집중식 전산실과 비교할 때 이러한 최적화의 효과는 매우 제한적입니다.

1. 네트워크 토폴로지 최적화: 중앙 집중식 전산실에서는 네트워크 하드웨어 및 레이아웃을 직접 제어할 수 있으므로 필요에 따라 네트워크 토폴로지를 설계하고 최적화할 수 있습니다. 그러나 분산 환경에서 컴퓨팅 노드는 중국과 미국에 하나씩 서로 다른 지리적 위치에 분산되어 있으며 이들 간의 네트워크 연결을 직접 제어할 수 있는 방법이 없습니다. 소프트웨어를 사용하여 데이터 전송 경로를 최적화할 수 있지만 하드웨어 네트워크를 직접 최적화하는 것만큼 효과적이지는 않습니다. 동시에 지리적 위치의 차이로 인해 네트워크 지연 및 대역폭도 크게 달라지므로 네트워크 토폴로지 최적화의 효과가 더욱 제한됩니다.

2. 모델 병렬성보조 제목

4. 데이터 보안 및 개인 정보 문제

데이터 처리 및 전송과 관련된 거의 모든 링크는 데이터 보안 및 개인 정보 보호에 영향을 미칠 수 있습니다.

1. 데이터 배포: 훈련 데이터는 계산에 참여하는 각 노드에 분배되어야 합니다. 이 링크의 데이터는 분산된 노드에서 악의적으로 사용/유출될 수 있습니다.

2. 모델 교육: 학습 과정에서 각 노드는 계산을 위해 할당된 데이터를 사용하고 모델 매개변수의 업데이트 또는 기울기를 출력합니다. 이 과정에서 노드의 연산 과정을 도용하거나 결과를 악의적으로 분석하면 데이터도 유출될 수 있다.

3. 매개변수 및 기울기 집계: 개별 노드의 출력을 집계하여 글로벌 모델을 업데이트해야 하며, 집계 중 통신도 학습 데이터에 대한 정보를 유출할 수 있습니다.

데이터 프라이버시 문제에 대한 해결책은 무엇입니까?

• 안전한 다자간 컴퓨팅: SMC는 일부 특정 소규모 컴퓨팅 작업에 성공적으로 적용되었습니다. 그러나 대규모 분산 학습 작업에서는 계산 및 통신 오버헤드가 크기 때문에 아직 널리 사용되지 않았습니다.

• 차등 개인 정보 보호: Chrome의 사용자 통계와 같은 특정 데이터 수집 및 분석 작업에 적용됩니다. 그러나 대규모 딥 러닝 작업에서 DP는 모델의 정확도에 영향을 미칩니다. 동시에 적절한 노이즈 생성 및 추가 메커니즘을 설계하는 것도 과제입니다.

• 연합 학습: Android 키보드에 대한 어휘 예측 등과 같은 일부 에지 장치 모델 훈련 작업에 적용됩니다. 그러나 대규모 분산 교육 작업에서 FL은 높은 통신 오버헤드 및 복잡한 조정과 같은 문제에 직면합니다.

• 동형암호: 계산 복잡도가 작은 일부 작업에 성공적으로 적용되었습니다. 그러나 대규모 분산 학습 작업에서는 높은 계산 오버헤드로 인해 아직 널리 사용되지 않았습니다.

요약하다

위의 각 방법에는 적용 가능한 시나리오와 제한 사항이 있으며 어떤 방법도 분산 컴퓨팅 전력 네트워크의 대규모 모델 교육에서 데이터 프라이버시 문제를 완전히 해결할 수 없습니다.

큰 기대를 걸고 있는 ZK는 대규모 모델 학습에서 데이터 프라이버시 문제를 해결할 수 있을까요?

이론적으로 ZKP는 분산 컴퓨팅에서 데이터 프라이버시를 보장하는 데 사용할 수 있으므로 노드가 규정에 따라 계산을 수행했음을 증명할 수 있지만 실제 입력 및 출력 데이터를 공개할 필요는 없습니다.

그러나 실제로 대규모 모델을 훈련하는 대규모 분산 컴퓨팅 전력 네트워크에 ZKP를 사용하는 시나리오에서는 다음과 같은 병목 현상에 직면합니다.

• 전산 및 통신 오버헤드 업: 영지식 증명을 구성하고 검증하는 데는 막대한 계산 리소스가 필요합니다. 또한 ZKP는 증명 자체를 전송해야 하기 때문에 통신 오버헤드가 높습니다. 이러한 오버헤드는 대규모 모델 교육의 경우 특히 중요해질 수 있습니다. 예를 들어 각 미니 배치의 계산에 증명 생성이 필요한 경우 전체 교육 시간과 비용이 크게 증가할 수 있습니다.

• ZK 프로토콜의 복잡성: 대규모 모델 교육에 적합한 ZKP 프로토콜을 설계하고 구현하는 것은 매우 복잡할 수 있습니다. 이 프로토콜은 대규모 데이터와 복잡한 계산을 처리할 수 있어야 하며 발생할 수 있는 비정상적인 오류를 처리할 수 있어야 합니다.

• 하드웨어 및 소프트웨어 호환성: ZKP를 사용하려면 특정 하드웨어 및 소프트웨어 지원이 필요하며 일부 분산 컴퓨팅 장치에서는 지원되지 않을 수 있습니다.

요약하다

첫 번째 레벨 제목

2. 분산 컴퓨팅 파워 - 모델 추론

또 다른 상대적으로 분산된 컴퓨팅 파워의 큰 시나리오는 모델 추론입니다.대형 모델의 개발 경로에 대한 우리의 판단에 따르면, 대형 모델이 고점을 통과한 후 성숙함에 따라 모델 교육에 대한 수요가 점차 감소할 것입니다.따라서 추론 요구 사항은 기하급수적으로 증가할 것입니다. 대형 모델 및 AIGC의 성숙도와 함께.

보조 제목

(Power LLM inference with NVIDIA Triton)

1. 도전

통신 지연:

분산 환경에서는 노드 간의 통신이 필수적입니다. 분산형 분산 컴퓨팅 파워 네트워크에서 노드는 전 세계에 분산될 수 있으므로 특히 실시간 응답이 필요한 추론 작업의 경우 네트워크 대기 시간이 문제가 될 수 있습니다.

모델 배포 및 업데이트:

모델을 각 노드에 배포해야 합니다. 모델이 업데이트되면 각 노드는 해당 모델을 업데이트해야 하므로 네트워크 대역폭과 시간이 많이 소모됩니다.

데이터 프라이버시:

추론 작업에는 일반적으로 입력 데이터와 모델만 필요하고 많은 양의 중간 데이터와 매개변수를 반환할 필요가 없지만 입력 데이터에는 여전히 사용자의 개인 정보와 같은 민감한 정보가 포함될 수 있습니다.

모델 보안:

분산 네트워크에서 모델은 신뢰할 수 없는 노드에 배포되어야 하며, 이는 모델 유출로 이어지고 모델 재산권 및 남용 문제로 이어집니다. 이것은 또한 보안 및 개인 정보 보호 문제를 제기할 수 있습니다. 모델이 민감한 데이터를 처리하는 데 사용되는 경우 노드는 모델의 동작을 분석하여 민감한 정보를 추론할 수 있습니다.

품질 관리:

보조 제목

2. 타당성

계산 복잡성:

훈련 단계에서 모델은 반복적으로 반복되어야 하며, 훈련 과정에서 활성화 함수 계산, 손실 함수 계산, 그래디언트 및 가중치 업데이트. 따라서 모델 훈련의 계산 복잡도가 높습니다.

추론 단계에서는 예측을 계산하는 데 하나의 순방향 패스만 필요합니다. 예를 들어 GPT-3에서는 입력 텍스트를 벡터로 변환한 후 모델의 각 계층(보통 Transformer 계층)을 거쳐 전달해야 최종적으로 출력 확률 분포를 구하고 다음 단어를 생성합니다. 이 분포에 따르면. GAN에서 모델은 입력 노이즈 벡터에서 이미지를 생성해야 합니다. 이러한 작업은 모델의 순방향 전파만 포함하고 기울기를 계산하거나 매개변수를 업데이트할 필요가 없으며 계산 복잡성이 낮습니다.

데이터 상호작용:

추론 단계에서 모델은 일반적으로 교육 중에 대량의 데이터 배치가 아닌 단일 입력을 처리합니다. 각 추론의 결과는 다른 입력이나 출력이 아닌 현재 입력에만 의존하므로 많은 양의 데이터 상호 작용이 필요하지 않으며 통신 압력이 적습니다.

생성 이미지 모델을 예로 들어 GAN을 사용하여 이미지를 생성한다고 가정하면 모델에 노이즈 벡터만 입력하면 모델이 해당 이미지를 생성합니다. 이 프로세스에서 각 입력은 하나의 출력만 생성하고 출력 간에 종속성이 없으므로 데이터 상호 작용이 필요하지 않습니다.

GPT-3을 예로 들면 다음 단어의 각 세대는 현재 텍스트 입력과 모델 상태만 필요하고 다른 입력 또는 출력과 상호 작용할 필요가 없으므로 데이터 상호 작용에 대한 요구 사항도 약합니다.

요약하다

첫 번째 레벨 제목

3. 프로젝트

이미지 설명

1.Together

（RedPajama from Together）

Together는 대규모 모델의 오픈 소스에 중점을 두고 분산형 AI 컴퓨팅 솔루션에 전념하는 회사로, 누구나 어디서든 AI에 액세스하고 사용할 수 있기를 바랍니다. Together는 Lux Capital이 이끄는 $20m USD 시드 라운드를 마감했습니다.

Together는 Chris, Percy, Ce가 공동 설립했습니다. 원래 의도는 대규모 모델 교육에는 많은 수의 고급 GPU 클러스터와 고가의 비용이 필요했고 이러한 리소스와 모델 교육 기능도 소수의 대기업에 집중되어 있었습니다. .

내 관점에서 분산 컴퓨팅 성능에 대한 보다 합리적인 기업 계획은 다음과 같습니다.

1단계. 오픈소스 모델

분산 컴퓨팅 파워 네트워크에서 모델 추론을 구현하기 위해서는 노드가 저렴한 비용으로 모델을 얻을 수 있어야 합니다. 즉, 분산 컴퓨팅 파워 네트워크를 사용하는 모델은 오픈 소스여야 합니다(모델이 아래에서 사용하는 경우 구현의 복잡성과 비용이 증가합니다.) 예를 들어 비오픈 소스 모델인 chatgpt는 분산형 컴퓨팅 파워 네트워크에서 실행하기에 적합하지 않습니다.

따라서 탈중앙화된 컴퓨팅 파워 네트워크를 제공하는 기업의 보이지 않는 장벽은 강력한 대규모 모델 개발 및 유지보수 능력이 필요하다고 추측할 수 있습니다. 자체 개발 및 오픈 소스의 강력한 기본 모델은 타사 모델 오픈 소스에 대한 의존성을 어느 정도 제거할 수 있으며 분산형 컴퓨팅 파워 네트워크의 가장 기본적인 문제를 해결할 수 있습니다. 동시에 컴퓨팅 파워 네트워크가 대형 모델의 교육 및 추론을 효과적으로 수행할 수 있음을 증명하는 데 더 도움이 됩니다.

그리고 Together도 마찬가지였습니다. 최근 출시된 LLaMA 기반 RedPajama는 Together, Ontocord.ai, ETH DS 3 Lab, Stanford CRFM, Hazy Research 등의 팀이 공동으로 출시했으며, 목표는 완전한 오픈 소스 대규모 언어 모델 시리즈를 개발하는 것입니다.

2단계. 모델 추론에서 분산 컴퓨팅 성능 구현

위의 두 섹션에서 언급했듯이 모델 학습과 비교하여 모델 유추는 계산 복잡도와 데이터 상호 작용이 낮고 분산된 분산 환경에 더 적합합니다.

오픈 소스 모델을 기반으로 Together의 R&D 팀은 RedPajama-INCITE-3 B 모델에 LoRA를 사용하여 저비용 미세 조정을 달성하고 모델을 CPU에서 실행하는 등 일련의 업데이트를 수행했습니다(특히 M 2 Pro 프로세서를 사용하는 MacBook) Pro) 모델을 더 매끄럽게 실행합니다. 동시에 이 모델의 규모는 작지만 그 능력은 같은 규모의 다른 모델을 능가하며 법률, 사회 및 기타 시나리오에 실제로 적용되었습니다.

이미지 설명

(분산형 교육을 위한 커뮤니케이션 병목 현상 극복 컴퓨팅 파워 네트워크의 개략도)

중장기적으로는 큰 도전과 기술적 병목 현상에 직면해 있지만 AI 대형 모델 훈련을 위한 컴퓨팅 파워 수요를 감당하는 것이 가장 매력적일 것입니다. Together는 설립 초기에 분산 교육에서 커뮤니케이션 병목 현상을 극복하는 방법을 제시하기 시작했습니다. 그들은 또한 NeurIPS 2022에 대한 관련 논문을 발표했습니다.Overcoming Communication Bottlenecks for Decentralized Training. 주로 다음 방향을 요약할 수 있습니다.

일정 최적화

분산된 환경에서 훈련할 때 노드 간의 연결은 대기 시간과 대역폭이 다르기 때문에 더 빠른 연결을 가진 장치에 통신이 많은 작업을 할당하는 것이 중요합니다. Together는 특정 스케줄링 전략의 비용을 설명하는 모델을 구축하고 스케줄링 전략을 더 잘 최적화하여 커뮤니케이션 비용을 최소화하고 교육 처리량을 최대화합니다. Together 팀은 또한 네트워크가 100배 느린 경우에도 종단 간 교육 처리량이 1.7~2.3배만 느리다는 사실을 발견했습니다. 따라서 스케줄링 최적화를 통해 분산 네트워크와 중앙 집중식 클러스터 간의 격차를 메우는 것이 흥미롭습니다.

통신 압축 최적화

Together는 순방향 활성화 및 역방향 기울기에 대한 통신 압축을 제안하고 확률적 경사 하강 수렴을 엄격하게 보장하는 AQ-SGD 알고리즘을 도입합니다. AQ-SGD는 압축 없이 중앙 집중식 네트워크(예: 10Gbps)에서 단 31% 느린 엔드 투 엔드 교육 성능으로 느린 네트워크(예: 500Mbps)에서 대규모 기본 모델을 미세 조정할 수 있습니다. 또한 AQ-SGD는 QuantizedAdam과 같은 최첨단 그래디언트 압축 기술과 결합하여 10% 종단 간 속도 향상을 달성할 수 있습니다.

프로젝트 요약

함께 팀 구성은 매우 포괄적이며 구성원은 대규모 모델 개발, 클라우드 컴퓨팅에서 하드웨어 최적화에 이르기까지 업계 전문가의 지원을 받는 매우 강력한 학문적 배경을 가지고 있습니다. 그리고 Together는 오픈 소스 대형 모델 개발부터 모델 추론을 사용하여 분산 컴퓨팅 성능 네트워크에서 유휴 컴퓨팅 성능(예: Mac)을 테스트한 다음 대형 레이아웃에서 분산 컴퓨팅 성능을 테스트하는 데 이르기까지 경로 계획에서 장기적이고 인내심 있는 자세를 보여주었습니다. 모델 훈련. — 그런 뭉침과 모발 숱이 적은 느낌이 있어요 :)

이미지 설명

2.Gensyn.ai

 (Gensyn.ai)

Together의 기술 경로에서 우리는 모델 교육 및 추론에서 분산 컴퓨팅 전원 네트워크의 구현 프로세스와 해당 연구 및 개발 우선 순위를 대략적으로 이해할 수 있습니다.

무시할 수 없는 또 다른 중요한 점은 컴퓨팅 파워 네트워크의 인센티브 계층/합의 알고리즘의 설계입니다.예를 들어 우수한 네트워크는 다음을 갖추어야 합니다.

1. 혜택이 충분히 매력적인지 확인하십시오.

2. 부정 행위 방지 및 더 많은 작업에 대해 더 많은 급여를 포함하여 각 채굴자가 마땅히 받아야 할 혜택을 받도록 보장합니다.

3. 작업이 직접적이고 합리적으로 예약되고 다른 노드에 할당되고 많은 수의 유휴 노드 또는 일부 노드가 과밀하지 않도록 합니다.

4. 인센티브 알고리즘은 간단하고 효율적이며 과도한 시스템 부담과 지연을 일으키지 않습니다.

……

Gensyn.ai가 어떻게 하는지 알아보세요:

• 노드가 되다

확인하다

• 확인하다

Solver는 매개변수를 업데이트하는 동안 여러 체크포인트를 생성하고(작업의 투명성과 추적성을 보장하기 위해) 작업에 대한 암호화 추론 증명(작업 진행 증명)을 주기적으로 생성합니다.

Solver가 작업을 완료하고 계산 결과의 일부를 산출하면 프로토콜은 검증자를 선택하고 검증자도 일정 금액을 약속하고(검증자가 정직하게 검증을 수행하도록 하기 위해) 계산의 일부를 결정합니다. 위에 제공된 증명에 따라 결과를 검증해야 합니다.

• 솔버와 검증자가 갈라지면

Merkle 트리 기반 데이터 구조를 통해 계산 결과가 갈라지는 정확한 위치를 찾습니다. 전체 검증 작업은 체인에 있으며 사기꾼은 약정 금액에서 차감됩니다.

프로젝트 요약

인센티브 및 검증 알고리즘의 설계로 인해 Gensyn.ai는 검증 프로세스 동안 전체 컴퓨팅 작업의 모든 결과를 재생할 필요가 없고 제공된 증명에 따라 결과의 일부만 복사 및 검증하면 되므로 크게 향상됩니다. 확인의 효율성. 동시에 노드는 계산 결과의 일부만 저장하면 되므로 저장 공간과 컴퓨팅 리소스의 소비도 줄어듭니다. 또한 잠재적인 부정 행위 노드는 검증을 위해 어떤 부분이 선택될지 예측할 수 없으므로 부정 행위의 위험도 줄어듭니다.

이러한 차이점을 검증하고 치터를 발견하는 방법은 전체 계산 결과를 비교하지 않고도 계산 과정에서 오류를 빠르게 찾을 수 있습니다(머클 트리의 루트 노드에서 시작하여 단계별로 탐색). 대규모 컴퓨팅 작업에 매우 효과적입니다.

요컨대, Gensyn.ai의 인센티브/검증 계층의 설계 목표는 간단하고 효율적입니다. 그러나 현재는 이론적 수준에 국한되어 있으며 구체적인 구현은 다음과 같은 문제에 직면할 수 있습니다.

• 경제 모델에서 참가자에게 너무 높은 임계값을 설정하지 않고 효과적으로 사기를 방지할 수 있도록 적절한 매개변수를 설정하는 방법.

• 기술 구현 측면에서 효과적인 주기적 암호화 추론 증명을 공식화하는 방법도 고급 암호화 지식이 필요한 복잡한 문제입니다.

• 첫 번째 레벨 제목

4. 미래에 대한 생각

누가 분산형 컴퓨팅 파워 네트워크를 필요로 하는지에 대한 질문은 아직 확인되지 않았습니다. 막대한 컴퓨팅 파워 리소스를 필요로 하는 대규모 모델 훈련에 유휴 컴퓨팅 파워를 적용하는 것은 분명히 가장 합리적이고 가장 상상력이 풍부한 공간입니다. 그러나 실제로 통신 및 개인 정보 보호와 같은 병목 현상은 우리를 재고해야 합니다.

대형 모델의 분산 교육에 대한 희망이 정말 있습니까?

이 합의에 뛰어들면 "가장 합리적인 상륙 시나리오", 소형 AI 모델 훈련에 탈중앙화 컴퓨팅 파워를 적용할지 여부도 큰 시나리오다. 기술적 관점에서 보면 모델의 크기와 아키텍처로 인해 현재의 제한 요소가 해결되었으며 동시에 시장 관점에서 우리는 항상 대형 모델의 학습이 막대할 것이라고 느꼈습니다. 이제는 미래로, 소형 AI 모델 시장은 아직 매력적이지 않은가?

면책 조항: 모든 Foresight Ventures 기사는 투자 조언을 제공하기 위한 것이 아닙니다. 투자는 위험하므로 개인의 위험 허용 범위를 평가하고 신중하게 투자 결정을 내리십시오.

Reference

https://www.together.xyz/blog/neurips-2022-overcoming-communication-bottlenecks-for-decentralized-training-12 

https://www.together.xyz/blog/redpajama

https://docs.gensyn.ai/litepaper/

https://www.nvidia.com/en-in/deep-learning-ai/solutions/large-language-models/

https://indiaai.gov.in/article/training-data-used-to-train-llm-models

포사이트 벤처에 대하여

Foresight Ventures는 향후 수십 년 동안 암호 화폐의 혁신에 베팅합니다.여러 펀드를 관리합니다: VC 펀드, 2차 활성 관리 펀드, 다중 전략 FOF, 특수 목적 S 펀드 "Foresight 2차 펀드 l", 총 자산 관리 규모는 4억 달러 이상. Foresight Ventures는 "독특하고, 독립적이며, 공격적이고, 장기적"이라는 개념을 고수하고 강력한 생태적 힘을 통해 프로젝트에 대한 광범위한 지원을 제공합니다. 그 팀은 Sequoia China, CICC, Google, Bitmain 등 최고의 금융 및 기술 회사의 고위 직원으로 구성되어 있습니다.

Website: https://www.foresightventures.com

면책 조항: 모든 Foresight Ventures 기사는 투자 조언을 제공하기 위한 것이 아닙니다. 투자는 위험하므로 개인의 위험 허용 범위를 평가하고 신중하게 투자 결정을 내리십시오.