DePin 트랙 착륙 애플리케이션 표시: 유틸리티 AI 컨테이너 클라우드 사용 보고서
DePin은 Decentralized Physical Infrastructure Networks의 약어입니다. DePin 개념의 핵심은 토큰을 사용하여 사용자가 컴퓨팅 성능, 스토리지 및 네트워크 대역폭과 같은 실제 상품과 서비스 또는 디지털 리소스를 제공하기 위해 하드웨어 장치를 배포하도록 동기를 부여하는 것입니다. Messrai에 따르면 현재 전체 선로의 가치는 약 90억 달러이며, 2028년에는 3조 5천억 달러로 성장할 것으로 예상됩니다.
현재 DePin 개념을 따르는 많은 프로젝트가 있는데, 그 중 분산형 AI 컴퓨팅 파워 스케줄링에 중점을 두고 있는 UtilityNet(이하 Utility)은 최근 TPU(AI 전용 가속 칩) 및 관련 지능형 기반 프로젝트를 출시했습니다. 1년의 개발 끝에 컴퓨팅 서버, AI 컨테이너 클라우드 테스트 플랫폼. 관심 있는 AI 개발자는 대규모 모델 배포 및 추론을 위한 일정량의 AI 클라우드 컴퓨팅 성능을 얻기 위해 Utility의 공식 트위터 계정에 게시된 이메일 주소를 통해 Utility AI 컨테이너 클라우드 테스트 참여를 신청할 수 있습니다. 이러한 클라우드 컴퓨팅 성능을 뒷받침하는 칩과 장비는 현재 비공개 베타 기간에 참여하는 유틸리티 채굴자에 의해 제공됩니다.
유틸리티는 새로운 계산 무결성 증명(POCI, 중국어 번역은 신뢰할 수 있는 컴퓨팅) 합의 메커니즘을 혁신적으로 제안합니다. AI 전용 칩 내부의 보안 엔진 모듈을 통해 체인의 암호화 원리와 결합하여 칩은 컴퓨팅 성능을 잃지 않고 인센티브를 획득하려는 목적을 달성하기 위해 자체 인증합니다. 과거 대중적인 POW 합의는 채굴 과정에서 장비의 컴퓨팅 파워를 소진시켰기 때문에 이는 DePin 개념과 명백히 충돌하며, 채굴로 컴퓨팅 파워가 소비되면 실제 수요 측면으로 이전될 수 없습니다. 따라서 유틸리티의 혁신적인 POCI 합의는 토큰이 채굴자에서 임차인으로 컴퓨팅 성능의 흐름을 실제로 실현할 수 있는 현실적인 솔루션을 제공합니다.
저는 AI 개발자로서 오랫동안 Utility 프로젝트를 지켜봐왔고, 공식 채널을 통해 Utility AI 컨테이너 클라우드 베타 버전을 신청하고 사용해 본 결과, 관련 시범 보고서를 여러분께 공유하고자 합니다.
유틸리티의 분산형 채굴 인센티브 원칙을 기반으로 유틸리티 AI 컨테이너 클라우드의 사용자 인터페이스는 채굴자 관리 터미널과 칩 클라이언트로 설계되어 다양한 사용자와 운영 로직을 구별하므로 유틸리티 AI 컨테이너 클라우드의 다양한 유형의 사용자가 플랫폼은 채굴자로부터 컴퓨팅 파워 임차인까지 컴퓨팅 파워의 흐름을 완성하기 위해 효과적으로 조정하고 협력할 수 있습니다.
1. 유틸리티 AI 컨테이너 클라우드 채굴기 관리 단말
1. 채굴기 관리 터미널에 대한 지침
Utility AI 컨테이너 클라우드 채굴기 관리 단말은 독립적인 접속 진입 페이지를 갖고 있으며, 현재 베타 버전의 접속 주소는 다음과 같습니다.https://cloud.utlab.io/admin/#/,로그인 페이지는 다음과 같습니다.
2. 플랫폼 모니터링
Utility AI 컨테이너 클라우드의 모니터링 아키텍처는 NodeExporter+Prometheus+Grafana이며, 객체지향은 클러스터 모니터링 및 트레이닝 작업 모니터링으로 Grafana 웹페이지 형태로 표시됩니다. NodeExporter는 다양한 리소스 정보와 노드의 사용량을 수집하고 이를 프로메테우스에서 지원하는 데이터 형식으로 로컬 파일에 저장할 수 있습니다. Prometheus는 각 노드의 NodeExporter 서비스의 로컬 데이터 수집을 Pull 형식으로 중앙 데이터베이스에 집계합니다. Grafana 웹 프론트 엔드 서비스를 시작하기 전에 Prometheus 데이터베이스 API 호출 경로를 구성하고 Prometheus의 데이터 지표를 정기적으로 요청하면 클러스터 및 플랫폼의 모든 AI 칩 사용자가 실행하는 작업에 대한 지표 데이터의 그래프를 마이너에게 동적으로 표시할 수 있습니다.
클러스터 모니터링
클러스터 모니터링은 Grafana 웹페이지 형태로 관리 웹페이지에 내장되어 있습니다.
아래 그림과 같이 [관리망 터미널 로그인/클러스터 모니터링]에는 클러스터 정보가 표시됩니다.
3. 자원관리
유틸리티 AI 컨테이너 클라우드 채굴기 관리 터미널은 플랫폼 하드웨어 자원의 편리한 관리를 지원합니다. 플랫폼 리소스 관리 모듈은 서버 노드, 시스템 리소스, 맞춤형 리소스, 리소스 사양, 리소스 풀로 나눌 수 있습니다.
마디
노드는 서버이며, 플랫폼의 기본 클러스터 시스템이 시작되면 클러스터를 구성한 서버를 자동으로 검색하고 해당 서버의 다양한 속성을 검색합니다. IP, 호스트 이름, 할당된 라벨, 준비 상태, 보유한 리소스 등의 자세한 정보입니다.
[마이너관리단말기/자원관리/노드에 로그인]에는 아래와 같이 시스템이 자동으로 검색한 노드 목록이 표시됩니다.
자원
물리적으로 모든 자원은 서버 노드에 모여 시스템 자원인 플랫폼 시스템에 의해 자동으로 발견됩니다. 시스템 리소스는 다양한 이름과 다양한 구별 형태를 가지며, 다양한 로직에 따라 구분될 수 있습니다.
아래와 같이 [마이너 관리 터미널/리소스 관리/리소스에 로그인]에는 자동으로 검색된 시스템 리소스 목록이 표시됩니다.
관리, 친숙한 표시 및 인지적 활용을 용이하게 하기 위해 플랫폼은 맞춤형 리소스 기능을 설계했으며, 채굴자는 기존 시스템 리소스를 다양한 논리를 기반으로 하는 새로운 맞춤형 리소스로 재정의할 수 있습니다.
아래 그림과 같이 [채굴관리단말기 로그인/리소스관리/리소스/맞춤리소스]에서는 시스템 리소스에 따라 커스텀 리소스를 추가할 수 있습니다 - TPU 1684 또는 TPU 1684 X (1684 시리즈는 AI칩 이름입니다) :
자원 사양
플랫폼이 소유한 리소스를 사용자에게 더 잘 표시하고 사용자의 리소스 사용에 대한 통계를 더 잘 수집하기 위해. 플랫폼은 서버에 모인 다양한 유형의 자원을 그룹으로 그룹화하는데, 이러한 자원을 그룹화하는 기능이 자원 사양입니다. 관리자가 리소스 사양명을 정의한 후, 사용자는 리소스 사양명에서 직관적으로 리소스 정보를 얻고, 자신이 원하는 리소스 그룹을 선택하여 자신의 작업을 실행할 수 있습니다.
아래와 같이 [관리웹페이지 로그인/자원관리/리소스사양]을 통해 모든 리소스를 기준으로 리소스사양(4CPU-2GB-2 TPU 1684)을 생성할 수 있습니다.
자원 풀
리소스 풀은 클러스터 서버 리소스를 격리하는 데 사용됩니다. 세로로 보면 리소스는 서버 노드를 기반으로 합니다. 수평적으로 보면 리소스는 리소스 사양에 따라 세분화됩니다. 서버 노드는 관리자용이고, 리소스 사양은 사용자용입니다. 당연히 사용자로부터 리소스를 더 잘 분리하고 격리하려면 리소스 풀 개념이 필요합니다. 리소스 풀은 리소스를 논리적으로 재분할하며, 유틸리티 AI 컨테이너 클라우드는 서버 노드를 세분화하여 리소스를 서버 노드 형태로 서로 다른 리소스 풀로 나누며, 서로 다른 리소스 풀을 사용자 그룹에 바인딩할 수 있습니다. 이 형태에서는 클러스터의 리소스를 잘 격리할 수 있으며, 서로 다른 리소스를 서로 다른 사용자 그룹에 할당할 수 있습니다.
아래 그림과 같이 [마이너관리단말기/자원관리/자원풀에 로그인] 시스템에서 제공하는 기본 자원풀 초기화에는 모든 자원노드가 포함되어 있으며, 버튼을 클릭하여 다양한 자원풀에 따라 새로운 자원풀을 생성할 수도 있습니다. 비즈니스 로직:
채굴기 관리 터미널은 플랫폼 하드웨어 자원의 편리한 관리를 지원합니다. 플랫폼 리소스 관리 모듈은 서버 노드, 시스템 리소스, 맞춤형 리소스, 리소스 사양, 리소스 풀로 나눌 수 있습니다.
4. 기계 시간 관리
채굴자는 UNC 가격/머신 시간을 기준으로 다양한 AI 칩을 임대하는 비용을 설정할 수 있으며, 컴퓨팅 파워 임대 사용자가 칩 임대 주문을 구매하면 AI 칩 컨테이너 작업 시작 시간이 시작되고 플랫폼은 해당 금액을 차감합니다. 해당 기계 시간. 플랫폼은 자원 사양에 따라 단가 UNC/기계 시간을 설정하며 청구 규칙은 다음과 같습니다.
AI 칩 컨테이너 작업 머신 시간 = 하위 작업 1 머신 시간 + 하위 작업 2시간 + ... + 하위 작업 n 머신 시간
하위 작업 기계 시간 = 복사 1 기계 시간 + 복사 2 기계 시간 + ... + 복사 n 기계 시간
복제본 머신 시간 = 리소스 사양 * (복사 실행 종료 시간 - 복사 실행 시작 시간)
기계 시간 관리에는 기계 시간 목록, 충전 기록, 소비 기록이 포함됩니다.
사용자 시간 목록
2. AI 컨테이너 클라우드 칩 클라이언트
1. 사용자 지침
Utility AI 컨테이너 클라우드 칩 클라이언트의 액세스 주소는 다음과 같습니다.https://console.utlab.io/utnetai/,로그인 페이지는 다음과 같습니다.
2. 개요
개요 페이지는 다양한 상태의 훈련 작업 수 정보, 남은 기계 시간 정보, 소비 및 재충전 기록 정보를 표시하는 데 사용되며 사용자에게 Jupyter 노트북, 알고리즘, 훈련 작업, 작업 템플릿, 알고리즘을 빠르게 생성할 수 있는 기능도 제공합니다. , 데이터 세트 및 미러링 기능. .
3. 모델 개발
주피터 노트북 관리
Jupyter 노트북 관리는 후속 모델 교육을 지원하기 위해 알고리즘을 디버깅, 실행 및 저장하기 위한 온라인 프로그래밍 환경을 제공합니다. 이 모듈은 오픈소스 JupterLab을 지원하며, 사용자는 사전에 Jupyterlab 프로그램이 포함된 이미지를 만들어야 합니다. 사용자는 노트북을 생성, 열기, 시작, 중지, 삭제할 수 있으며 JupterLab에서 사용자가 편집한 알고리즘은 자동으로 저장됩니다.
노트북 만들기
생성 버튼을 클릭하고 해당 알고리즘, 이미지, 데이터 세트(선택), 리소스를 선택하고, 고급 설정에서 작업 개수를 선택한 후 확인을 클릭하면 노트북이 생성됩니다.
노트 열기
열기 버튼을 클릭하면 부동 창이 팝업되어 해당 하위 작업을 선택하고 노트북을 엽니다.
이번에는 Tsinghua GLM-6 B에서 변환된 ONNX 모델을 배포하려고 합니다. 해당 추론은 Nvidia Tesla A 100 40G에 성공적으로 배포되었습니다. 이제 공식 4 CPU 2G + 1 1684를 신청하려고 합니다. x 아래와 같이 칩의 컨테이너 환경 추론을 추론합니다.
모델을 업로드하고 컴파일한 후 디렉토리가 결정되었습니다. 노트북에서 열어보고 디렉토리와 콘솔을 성공적으로 로드했습니다. 이 컨테이너의 경험은 기존 AI 엔지니어 워크플로우와 거의 일치한다고 말씀드리고 싶습니다. 이 컨테이너 클라우드의 전문성과 투자를 보여주는 유틸리티넷 팀에 엄지손가락을 치켜세우고 싶습니다.Jupiter와 호환되는 전체 환경은 플롯 모니터링과 전문적인 출력이 필요한 개발자에게 정말 친숙합니다. 노트북에서는 그림과 같이 디렉토리에서 관련 로딩을 볼 수 있습니다.
다음으로 컨테이너 콘솔에 들어가면 경험이 거의 완벽합니다.. 아마도 시범적으로 적용한 서버 클러스터가 아시아에 있기 때문에 지연은 기본적으로 이전에 구입한 AWS 홍콩 서버와 동일합니다. 컴파일되었기 때문에 Python3으로 직접 실행합니다. Dev 0은 할당된 SC 7 3코어 BM 1684 X 카드의 첫 번째 칩입니다. 명령을 통해 지정하고 실행합니다. 잠시 지연 후 추론에 성공합니다. ., 하나의 카드로 ChatGLM 3개를 병렬로 구동할 수 있고, 3명의 사용자에게 배포하여 병렬 경험을 제공할 수 있도록 UtilityNet에서 BM 1684x의 다양한 시나리오에 대한 기대가 가득합니다. 관련 테스트는 다음을 참고하세요. 아래 그림
노트북 중지
마지막으로 중지 버튼을 클릭하면 노트북이 중지되고 체험과 시간이 종료됩니다.
3. 요약
컨테이너 신청부터 2C PU 4G 싱글코어 1684에 할당까지의 전 과정 경험을 통해 관련 AI 개발자와 컴퓨팅 파워 유저에게 원활하고 매우 친숙합니다. 이렇게 강력한 컨테이너 클라우드가 오픈소스화되어 UtilityNet의 컴퓨팅 파워 제공자 노드에 원클릭으로 배포될 수 있는 미래를 기대해 봐야겠습니다. 또한 2월 공식 퍼블릭 테스트 네트워크와 분산 컴퓨팅 파워의 미래에 대해서도 더욱 확신을 갖고 있습니다. 내년 3월.
