DePin赛道的落地应用展示：Utility AI容器云使用报告

Odaily资深作者

2023-12-25 22:02 (UTC+8)

บทความนี้มีประมาณ 3000 คำ การอ่านทั้งหมดใช้เวลาประมาณ 5 นาที

Utility 创新的提出了一个全新的 POCI 共识机制，通过 AI 专用芯片内部的安全引擎模块，结合链上的加密学原理，让芯片能够自我证明，从而达到不损耗算力就可以获得激励的目的。

สรุปโดย AI

DePin เป็นตัวย่อของเครือข่ายโครงสร้างพื้นฐานทางกายภาพแบบกระจายอำนาจ หัวใจหลักของแนวคิด DePin คือการใช้โทเค็นเพื่อกระตุ้นให้ผู้ใช้ปรับใช้อุปกรณ์ฮาร์ดแวร์เพื่อจัดหาสินค้าและบริการในโลกแห่งความเป็นจริงหรือทรัพยากรดิจิทัล เช่น พลังการประมวลผล พื้นที่เก็บข้อมูล และแบนด์วิดท์เครือข่าย จากข้อมูลของ Messrai มูลค่าปัจจุบันของเส้นทางทั้งหมดอยู่ที่ประมาณ 9 พันล้านดอลลาร์สหรัฐ และคาดว่าจะเติบโตเป็น 3.5 ล้านล้านดอลลาร์สหรัฐภายในปี 2571

ขณะนี้มีหลายโครงการที่สอดคล้องกับแนวคิด DePin ในบรรดาโครงการเหล่านั้น UtilityNet (ต่อไปนี้จะเรียกว่า Utility) ซึ่งมุ่งเน้นไปที่การจัดตารางเวลาพลังงานการประมวลผล AI แบบกระจาย เพิ่งเปิดตัวโครงการที่ใช้ TPU (ชิปเร่งความเร็วเฉพาะของ AI) และระบบอัจฉริยะที่เกี่ยวข้อง เซิร์ฟเวอร์คอมพิวเตอร์หลังจากการพัฒนาหนึ่งปี แพลตฟอร์มการทดสอบคลาวด์คอนเทนเนอร์ AI นักพัฒนา AI ที่สนใจสามารถสมัครเข้าร่วมการทดสอบ Utility AI คอนเทนเนอร์คลาวด์ผ่านที่อยู่อีเมลที่เผยแพร่โดยบัญชี Twitter อย่างเป็นทางการของ Utility เพื่อรับพลังการประมวลผลบนคลาวด์ AI จำนวนหนึ่งสำหรับการปรับใช้และการอนุมานโมเดลขนาดใหญ่ ชิปและอุปกรณ์ที่อยู่เบื้องหลังพลังการประมวลผลแบบคลาวด์เหล่านี้จัดทำโดยนักขุดยูทิลิตี้ที่เข้าร่วมในช่วงเบต้าปิดปัจจุบัน

ยูทิลิตี้นำเสนอกลไกฉันทามติ Proof Of Computation Integrity ใหม่ (POCI หรือเรียกสั้นๆ ว่า Trusted Computing) ผ่านโมดูลกลไกความปลอดภัยภายในชิปเฉพาะของ AI รวมกับหลักการเข้ารหัสบนลูกโซ่ ชิปสามารถ รับรองตนเอง เพื่อให้บรรลุวัตถุประสงค์ในการรับสิ่งจูงใจโดยไม่สูญเสียพลังการประมวลผล เนื่องจากความเห็นพ้องต้องกันของ POW ที่ได้รับความนิยมในอดีตทำให้พลังการประมวลผลของอุปกรณ์ในระหว่างกระบวนการขุดหมดลงอย่างเห็นได้ชัดซึ่งขัดแย้งกับแนวคิด DePin อย่างเห็นได้ชัด หากพลังการประมวลผลถูกใช้โดยการขุดก็ไม่สามารถถ่ายโอนไปยังฝั่งอุปสงค์ที่แท้จริงได้ ดังนั้นฉันทามติ POCI อันเป็นนวัตกรรมของ Utility จึงมอบโซลูชันที่สมจริงสำหรับโทเค็นเพื่อให้ตระหนักถึงการไหลเวียนของพลังการประมวลผลจากนักขุดไปยังผู้เช่าอย่างแท้จริง

ในฐานะนักพัฒนา AI ฉันติดตามโครงการ Utility มาระยะหนึ่งแล้ว หลังจากสมัครและลองใช้ Utility AI คอนเทนเนอร์คลาวด์เวอร์ชันเบต้าผ่านช่องทางอย่างเป็นทางการแล้ว ฉันอยากจะแชร์รายงานการทดลองที่เกี่ยวข้องกับคุณ

ตามหลักการจูงใจการขุดแบบกระจายอำนาจของ Utility อินเทอร์เฟซผู้ใช้ของ Utility AI คอนเทนเนอร์คลาวด์ได้รับการออกแบบด้วยเทอร์มินัลการจัดการนักขุดและไคลเอนต์ชิปเพื่อแยกแยะผู้ใช้ที่แตกต่างกันและตรรกะการดำเนินการ เพื่อให้ผู้ใช้ประเภทต่างๆ ใน Utility AI คอนเทนเนอร์คลาวด์ แพลตฟอร์มสามารถประสานงานและร่วมมือได้อย่างมีประสิทธิภาพเพื่อทำให้การไหลเวียนของพลังการประมวลผลจากนักขุดไปยังผู้เช่าพลังงานการประมวลผลเสร็จสมบูรณ์

1. เทอร์มินัลการจัดการนักขุดบนคลาวด์คอนเทนเนอร์ยูทิลิตี้ AI

1.คำแนะนำสำหรับเทอร์มินัลการจัดการคนงานเหมือง

เทอร์มินัลการจัดการนักขุดบนคลาวด์ Utility AI คอนเทนเนอร์มีหน้าทางเข้าที่เป็นอิสระ ที่อยู่การเข้าถึงปัจจุบันสำหรับเวอร์ชันเบต้าคือhttps://cloud.utlab.io/admin/#/,หน้าเข้าสู่ระบบมีดังนี้:

2. การตรวจสอบแพลตฟอร์ม

สถาปัตยกรรมการตรวจสอบของ Utility AI คอนเทนเนอร์คลาวด์คือ NodeExporter+Prometheus+Grafana และเชิงวัตถุคือการตรวจสอบคลัสเตอร์และการตรวจสอบงานการฝึกอบรม ซึ่งแสดงในรูปแบบของหน้าเว็บ Grafana NodeExporter สามารถรวบรวมข้อมูลทรัพยากรต่างๆ และการใช้งานโหนด และจัดเก็บไว้ในไฟล์ในเครื่องในรูปแบบข้อมูลที่ Prometheus รองรับ Prometheus รวบรวมการรวบรวมข้อมูลภายในเครื่องของบริการ NodeExporter ของแต่ละโหนดลงในฐานข้อมูลกลางในรูปแบบของ Pull ก่อนที่จะเริ่มบริการส่วนหน้าบนเว็บ Grafana ให้กำหนดค่าเส้นทางการเรียก API ฐานข้อมูล Prometheus และขอตัวบ่งชี้ข้อมูลของ Prometheus เป็นประจำ สิ่งนี้สามารถแสดงกราฟข้อมูลตัวบ่งชี้ให้กับกราฟนักขุดแบบไดนามิกสำหรับงานที่ดำเนินการโดยผู้ใช้ชิป AI ทุกคนในคลัสเตอร์และแพลตฟอร์ม

การตรวจสอบคลัสเตอร์

การตรวจสอบคลัสเตอร์ถูกฝังอยู่ในเว็บเพจการจัดการในรูปแบบของเว็บเพจ Grafana

ดังแสดงในรูปด้านล่าง [เข้าสู่ระบบเทอร์มินัลเครือข่ายการจัดการ/การตรวจสอบคลัสเตอร์] จะแสดงข้อมูลคลัสเตอร์:

3. การจัดการทรัพยากร

เทอร์มินัลการจัดการนักขุดบนคลาวด์คอนเทนเนอร์ AI ยูทิลิตี้รองรับการจัดการทรัพยากรฮาร์ดแวร์แพลตฟอร์มที่สะดวก โมดูลการจัดการทรัพยากรแพลตฟอร์มสามารถแบ่งออกเป็นโหนดเซิร์ฟเวอร์ ทรัพยากรระบบ ทรัพยากรที่กำหนดเอง ข้อกำหนดทรัพยากร และกลุ่มทรัพยากร

โหนด

โหนดคือเซิร์ฟเวอร์ เมื่อระบบคลัสเตอร์พื้นฐานของแพลตฟอร์มเริ่มต้นขึ้น ระบบจะค้นหาเซิร์ฟเวอร์ที่สร้างคลัสเตอร์โดยอัตโนมัติและค้นพบคุณลักษณะต่างๆ ของพวกเขา ข้อมูลโดยละเอียด เช่น IP, ชื่อโฮสต์, ป้ายกำกับที่กำหนด, สถานะพร้อม, ทรัพยากรที่มีอยู่ ฯลฯ

ดังที่แสดงด้านล่าง [ล็อกอินเข้าสู่ Miner Management Terminal/Resource Management/Node] จะแสดงรายการโหนดที่ระบบค้นพบโดยอัตโนมัติ:

ทรัพยากร

ทางกายภาพ ทรัพยากรทั้งหมดจะถูกรวบรวมบนโหนดเซิร์ฟเวอร์และค้นพบโดยอัตโนมัติโดยระบบแพลตฟอร์มซึ่งเป็นทรัพยากรระบบ ทรัพยากรระบบมีชื่อหลากหลายและรูปแบบที่แตกต่างกัน และสามารถแบ่งได้ตามตรรกะต่างๆ

ดังที่แสดงด้านล่าง [ล็อกอินเข้าสู่ Miner Management Terminal/การจัดการทรัพยากร/ทรัพยากร] จะแสดงรายการทรัพยากรระบบที่ค้นพบโดยอัตโนมัติ:

เพื่ออำนวยความสะดวกในการจัดการ การแสดงผลที่เป็นมิตร และการใช้ประโยชน์ แพลตฟอร์มได้ออกแบบฟังก์ชันทรัพยากรที่กำหนดเอง นักขุดสามารถกำหนดทรัพยากรระบบที่มีอยู่ใหม่ให้เป็นทรัพยากรที่กำหนดเองใหม่ตามตรรกะที่แตกต่างกัน

ดังที่แสดงด้านล่าง [เข้าสู่ระบบเทอร์มินัลการจัดการนักขุด/การจัดการทรัพยากร/ทรัพยากร/ทรัพยากรที่กำหนดเอง] สามารถเพิ่มทรัพยากรที่กำหนดเองตามทรัพยากรระบบ - TPU 1684 หรือ TPU 1684 X (ซีรีส์ 1684 เป็นชื่อของชิป AI) : :

ข้อกำหนดทรัพยากร

เพื่อแสดงทรัพยากรที่เป็นของแพลตฟอร์มแก่ผู้ใช้ได้ดีขึ้น และรวบรวมสถิติเกี่ยวกับการใช้ทรัพยากรของผู้ใช้ได้ดียิ่งขึ้น แพลตฟอร์มจะจัดกลุ่มทรัพยากรประเภทต่าง ๆ ที่ประกอบบนเซิร์ฟเวอร์เป็นกลุ่ม หน้าที่ของการจัดกลุ่มทรัพยากรนี้คือข้อกำหนดของทรัพยากร หลังจากที่ผู้ดูแลระบบกำหนดชื่อของข้อกำหนดทรัพยากร ผู้ใช้สามารถรับข้อมูลทรัพยากรจากชื่อข้อกำหนดทรัพยากรได้อย่างง่ายดาย และเลือกกลุ่มทรัพยากรที่ต้องการใช้เพื่อรันงานของตนเอง

ดังที่แสดงด้านล่าง [เข้าสู่ระบบหน้าเว็บการจัดการ/การจัดการทรัพยากร/ข้อกำหนดทรัพยากร] สามารถสร้างข้อกำหนดทรัพยากร (4 CPU-2 GB-2 TPU 1684) ตามทรัพยากรทั้งหมด:

แหล่งรวมทรัพยากร

พูลทรัพยากรใช้เพื่อแยกทรัพยากรเซิร์ฟเวอร์คลัสเตอร์ เมื่อดูในแนวตั้ง ทรัพยากรจะขึ้นอยู่กับโหนดเซิร์ฟเวอร์ เมื่อมองในแนวนอน ทรัพยากรจะมีรายละเอียดปลีกย่อยตามข้อกำหนดของทรัพยากร โหนดเซิร์ฟเวอร์มีไว้สำหรับผู้ดูแลระบบ และข้อกำหนดทรัพยากรมีไว้สำหรับผู้ใช้ โดยปกติแล้ว หากคุณต้องการแยกและแยกทรัพยากรออกจากผู้ใช้ได้ดีขึ้น คุณต้องมีแนวคิดเกี่ยวกับกลุ่มทรัพยากร พูลทรัพยากรจะแบ่งทรัพยากรตามตรรกะ ยูทิลิตี้ AI คอนเทนเนอร์คลาวด์ใช้โหนดเซิร์ฟเวอร์เป็นรายละเอียดและแบ่งทรัพยากรออกเป็นกลุ่มทรัพยากรต่างๆ ในรูปแบบของโหนดเซิร์ฟเวอร์ พูลทรัพยากรต่างๆ สามารถผูกเข้ากับกลุ่มผู้ใช้ได้ ในรูปแบบนี้ ทรัพยากรของคลัสเตอร์สามารถแยกออกจากกันได้ดี และสามารถจัดสรรทรัพยากรที่แตกต่างกันให้กับกลุ่มผู้ใช้ที่แตกต่างกันได้

ดังแสดงในรูปด้านล่าง [เข้าสู่ระบบ Miner Management Terminal/การจัดการทรัพยากร/กลุ่มทรัพยากร] การเริ่มต้นกลุ่มทรัพยากรเริ่มต้นที่มาพร้อมกับระบบจะรวมโหนดทรัพยากรทั้งหมด คุณยังสามารถคลิกปุ่มเพื่อสร้างกลุ่มทรัพยากรใหม่ตามที่แตกต่างกัน ตรรกะทางธุรกิจ:

เทอร์มินัลการจัดการนักขุดรองรับการจัดการทรัพยากรฮาร์ดแวร์แพลตฟอร์มที่สะดวก โมดูลการจัดการทรัพยากรแพลตฟอร์มสามารถแบ่งออกเป็นโหนดเซิร์ฟเวอร์ ทรัพยากรระบบ ทรัพยากรที่กำหนดเอง ข้อกำหนดทรัพยากร และกลุ่มทรัพยากร

4. การจัดการเวลาเครื่อง

นักขุดสามารถกำหนดต้นทุนการเช่าชิป AI ต่างๆ ตามราคา UNC/ชั่วโมงเครื่องจักร เมื่อผู้ใช้เช่าพลังประมวลผลซื้อคำสั่งเช่าชิป เวลาเริ่มต้นงานคอนเทนเนอร์ชิป AI จะเริ่มต้นขึ้น และแพลตฟอร์มจะหัก ชั่วโมงเครื่องที่สอดคล้องกัน แพลตฟอร์มจะกำหนดราคาต่อหน่วย UNC/ชั่วโมงเครื่องจักรตามข้อกำหนดทรัพยากร และกฎการเรียกเก็บเงินมีดังนี้:

เวลาเครื่องงานคอนเทนเนอร์ชิป AI = งานย่อย 1 เวลาเครื่อง + งานย่อย 2 ชั่วโมง + ... + งานย่อย n เวลาเครื่อง

เวลาเครื่องงานย่อย = คัดลอก 1 เวลาเครื่อง + คัดลอก 2 เวลาเครื่อง + ... + คัดลอก n เวลาเครื่อง

เวลาเครื่องจำลอง = ข้อกำหนดทรัพยากร * (เวลาสิ้นสุดการคัดลอก - เวลาเริ่มต้นการคัดลอก)

การจัดการเวลาเครื่องประกอบด้วยรายการเวลาเครื่อง บันทึกการเติมเงิน และบันทึกการใช้

รายการเวลาของผู้ใช้

2. ไคลเอนต์ชิปคลาวด์คอนเทนเนอร์ AI

1. คำแนะนำสำหรับผู้ใช้

ที่อยู่การเข้าถึงของไคลเอนต์ชิปคลาวด์ยูทิลิตี้ AI คอนเทนเนอร์คือhttps://console.utlab.io/utnetai/,หน้าเข้าสู่ระบบมีดังนี้:

2. ภาพรวม

หน้าภาพรวมใช้เพื่อแสดงข้อมูลตัวเลขของงานการฝึกอบรมในสถานะต่างๆ ข้อมูลเวลาเครื่องที่เหลืออยู่ ข้อมูลบันทึกการใช้และการชาร์จ และยังช่วยให้ผู้ใช้สามารถสร้างสมุดบันทึก Jupyter อัลกอริธึม งานฝึกอบรม เทมเพลตงาน อัลกอริธึมได้อย่างรวดเร็ว ชุดข้อมูล และฟังก์ชันการมิเรอร์

3. การพัฒนาแบบจำลอง

การจัดการโน้ตบุ๊ก Jupyter

การจัดการโน้ตบุ๊ก Jupyter มอบสภาพแวดล้อมการเขียนโปรแกรมออนไลน์สำหรับการดีบัก รัน และบันทึกอัลกอริธึมเพื่อรองรับการฝึกโมเดลในภายหลัง โมดูลนี้รองรับ JupterLab แบบโอเพ่นซอร์ส และผู้ใช้จำเป็นต้องสร้างรูปภาพที่มีโปรแกรม Jupyterlab ล่วงหน้า ผู้ใช้สามารถสร้าง เปิด เริ่ม หยุด และลบสมุดบันทึกได้ อัลกอริทึมที่แก้ไขโดยผู้ใช้ใน JupterLab จะถูกบันทึกโดยอัตโนมัติ

สร้างสมุดบันทึก

คลิกปุ่มสร้าง เลือกอัลกอริธึม รูปภาพ ชุดข้อมูล (ตัวเลือก) และทรัพยากรที่เกี่ยวข้อง คุณสามารถเลือกจำนวนงานได้ใน การตั้งค่าขั้นสูง และคลิกตกลงเพื่อสร้างสมุดบันทึก

เปิดสมุดบันทึก

คลิกปุ่มเปิด หน้าต่างลอยจะปรากฏขึ้น เลือกงานย่อยที่เกี่ยวข้อง และเปิดสมุดบันทึก

ครั้งนี้เราพยายามปรับใช้โมเดล ONNX ซึ่งแปลงมาจาก Tsinghua GLM-6 B เหตุผลที่เกี่ยวข้องถูกปรับใช้บน Nvidia Tesla A 100 40 G สำเร็จแล้ว ตอนนี้เรากำลังพยายามสมัครอย่างเป็นทางการ 4 CPU 2 G + 1 1684 x อนุมานสภาพแวดล้อมคอนเทนเนอร์ของชิป ดังที่แสดงด้านล่าง

หลังจากอัปโหลดโมเดลและคอมไพล์แล้ว ก็กำหนด Directory ไว้แล้ว ผมลองเปิดใน Notebook แล้วโหลด Directory และ Console ได้สำเร็จ ต้องบอกว่าประสบการณ์ใน Container นี้เกือบจะสอดคล้องกับเวิร์กโฟลว์ของวิศวกร AI แบบเดิมๆ ซึ่ง แสดงให้เห็นถึงความเป็นมืออาชีพของคอนเทนเนอร์คลาวด์นี้ และการลงทุน ฉันอยากจะยกนิ้วให้ทีม UtilityNet สภาพแวดล้อมเต็มรูปแบบที่เข้ากันได้กับ Jupiter นั้นเป็นมิตรกับนักพัฒนาที่ต้องการการตรวจสอบพล็อตและผลลัพธ์ระดับมืออาชีพ ในสมุดบันทึก คุณสามารถดูการโหลดที่เกี่ยวข้องในไดเร็กทอรีดังแสดงในรูป

จากนั้น เข้าสู่คอนเทนเนอร์คอนโซลและประสบการณ์เกือบจะสมบูรณ์แบบ อาจเป็นเพราะคลัสเตอร์เซิร์ฟเวอร์ที่ทดลองใช้งานอยู่ในเอเชีย ความล่าช้าจึงเหมือนกับเซิร์ฟเวอร์ AWS Hong Kong ที่ซื้อมาก่อนหน้านี้ เรารันมันโดยตรงด้วย Python3 Dev 0 เป็นชิปตัวแรกของฉันในการ์ด SC 7 three-core BM 1684 X ที่กำหนด ฉันระบุและรันผ่านคำสั่ง หลังจากดีเลย์สั้นๆ การอนุมานก็สำเร็จ . ดังนั้นการ์ดใบเดียวจึงสามารถรัน ChatGLM สามตัวพร้อมกันและมอบประสบการณ์แบบขนานโดยแจกจ่ายให้กับผู้ใช้ 3 คน เราเต็มไปด้วยความคาดหวังสำหรับสถานการณ์ที่หลากหลายของ BM 1684 x ใน UtilityNet สำหรับการทดสอบที่เกี่ยวข้อง โปรดดูที่ รูปด้านล่าง

หยุดโน๊ตบุ๊ค

สุดท้ายให้คลิกปุ่มหยุดเพื่อหยุดสมุดบันทึกและสิ้นสุดประสบการณ์และเวลา

3. สรุป

จากประสบการณ์กระบวนการทั้งหมด ตั้งแต่การสมัครคอนเทนเนอร์ ไปจนถึงการจัดสรรให้กับ 2C PU 4G single-core 1684 มันราบรื่นและเป็นมิตรมากสำหรับนักพัฒนา AI ที่เกี่ยวข้องและผู้ใช้ที่มีพลังประมวลผล ฉันต้องตั้งตารออนาคตของคอนเทนเนอร์คลาวด์ที่ทรงพลังเช่นนี้ที่เป็นโอเพ่นซอร์สและการปรับใช้เพียงคลิกเดียวบนโหนดผู้ให้บริการพลังงานการประมวลผลของ UtilityNet ฉันยังมั่นใจมากขึ้นในเครือข่ายทดสอบสาธารณะอย่างเป็นทางการและอนาคตของพลังการประมวลผลแบบกระจายในเดือนกุมภาพันธ์ - มีนาคม ปีหน้า.

ยินดีต้อนรับเข้าร่วมชุมชนทางการของ Odaily