แหล่งที่มาดั้งเดิม:Filecoin Network

หมายเหตุบรรณาธิการ: บทความนี้มีพื้นฐานมาจากคำพูดของ David Aronchick ในการประชุม Filecoin Unleashed ปี 2023 ที่ปารีสคำพูด. เดวิดเป็นExpansoCEO ของและอดีตหัวหน้าฝ่ายการประมวลผลข้อมูลของ Protocol Labs ซึ่งดำเนินการอยู่Bacalhauเปิดตัวโครงการ. บทความนี้แสดงถึงความคิดเห็นอิสระของผู้สร้างเนื้อหาต้นฉบับ และได้รับอนุญาตให้เผยแพร่ซ้ำ

ตามIDCตามรายงาน ภายในปี 2568 ปริมาณข้อมูลที่จัดเก็บทั่วโลกจะเกิน 175 ZB นี่เป็นข้อมูลจำนวนมหาศาล เทียบเท่ากับไดรฟ์ USB ขนาด 1 GB ถึง 175 ล้านล้าน ข้อมูลส่วนใหญ่นี้สร้างขึ้นระหว่างปี 2020 ถึง 2025 โดยคาดว่าจะมี CAGR อยู่ที่ 61%

ปัจจุบัน ความท้าทายสำคัญสองประการเกิดขึ้นในดาต้าสเฟียร์ที่เติบโตอย่างรวดเร็ว:

• ข้อมูลมือถือช้าและมีราคาแพงหากคุณพยายามดาวน์โหลดข้อมูล 175 ZB ด้วยแบนด์วิธปัจจุบัน จะใช้เวลาประมาณ 1.8 พันล้านปี

• งานการปฏิบัติตามกฎระเบียบเป็นภาระมีกฎระเบียบที่เกี่ยวข้องกับข้อมูลหลายร้อยรายการทั่วโลก ทำให้งานปฏิบัติตามกฎหมายข้ามเขตอำนาจศาลแทบจะเป็นไปไม่ได้เลย

ผลลัพธ์รวมของการเติบโตของเครือข่ายที่อ่อนแอและข้อจำกัดด้านกฎระเบียบก็คือเกือบ 68% ของข้อมูลสถาบันไม่ได้ใช้งาน ด้วยเหตุนี้ การโอนทรัพยากรการประมวลผลไปยังที่จัดเก็บข้อมูล (เรียกโดยทั่วไปว่า การประมวลผลบนข้อมูล หรือที่เรียกว่า การประมวลผลข้อมูล) จึงมีความสำคัญอย่างยิ่ง แทนที่จะย้ายข้อมูลไปยังการประมวลผลBacalhauและการคำนวณข้อมูลอื่นๆ (CoD) แพลตฟอร์มกำลังทำงานอยู่

ในบทต่อไปนี้เราจะแนะนำโดยย่อ:

• วิธีที่องค์กรต่างๆ จัดการกับข้อมูลในปัจจุบัน

• เสนอแนวทางแก้ไขทางเลือกโดยอิงจาก การประมวลผลข้อมูล

• สุดท้าย ให้ตั้งสมมติฐานว่าเหตุใดการคำนวณแบบกระจายจึงมีความสำคัญ

สภาพที่เป็นอยู่

ในปัจจุบัน มีสามวิธีหลักที่องค์กรจัดการกับความท้าทายในการประมวลผลข้อมูล ซึ่งไม่มีวิธีที่เหมาะเลย

ใช้ระบบรวมศูนย์

แนวทางที่พบบ่อยที่สุดคือการใช้ระบบรวมศูนย์สำหรับการประมวลผลข้อมูลขนาดใหญ่ เรามักจะเห็นองค์กรต่างๆ รวมเฟรมเวิร์กการประมวลผล เช่น Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray ฯลฯ เพื่อสร้างเครือข่ายของระบบคลัสเตอร์ที่เชื่อมต่อกับเซิร์ฟเวอร์ API แบบรวมศูนย์ อย่างไรก็ตาม ระบบเหล่านี้ไม่สามารถจัดการกับการละเมิดเครือข่ายและปัญหาด้านกฎระเบียบอื่นๆ ที่เกี่ยวข้องกับการเคลื่อนย้ายข้อมูลได้อย่างมีประสิทธิภาพ

นี่เป็นความรับผิดชอบส่วนหนึ่งสำหรับหน่วยงานที่ต้องเสียค่าปรับและค่าปรับทางการบริหารมูลค่าหลายพันล้านดอลลาร์อันเนื่องมาจากการละเมิดข้อมูล

สร้างมันขึ้นมาเอง

อีกแนวทางหนึ่งคือให้นักพัฒนาสร้างระบบประสานงานแบบกำหนดเองที่มีความตระหนักรู้และความแข็งแกร่งตามที่หน่วยงานต้องการ แนวทางนี้เป็นแนวทางใหม่ แต่มักเผชิญกับความเสี่ยงที่จะเกิดความล้มเหลวเนื่องจากการพึ่งพาคนจำนวนน้อยมากเกินไปในการบำรุงรักษาและใช้งานระบบ

ไม่ทำอะไร

น่าแปลกที่สถาบันต่างๆ ส่วนใหญ่ไม่ได้ทำอะไรกับข้อมูลของตนเลย ตัวอย่างเช่น เมืองสามารถรวบรวมข้อมูลจำนวนมากจากวิดีโอวงจรปิดทุกวัน แต่เนื่องจากมีค่าใช้จ่ายสูง ข้อมูลเหล่านี้จึงสามารถดูได้บนเครื่องในพื้นที่เท่านั้น และไม่สามารถเก็บถาวรหรือประมวลผลได้

สร้างการประมวลผลแบบกระจายอย่างแท้จริง

มีวิธีแก้ไขปัญหาหลักสองประการสำหรับปัญหาด้านการประมวลผลข้อมูล

โซลูชันที่ 1: สร้างบนแพลตฟอร์มการประมวลผลข้อมูลแบบโอเพ่นซอร์ส

โซลูชันที่ 1: แพลตฟอร์มคอมพิวเตอร์ข้อมูลโอเพ่นซอร์ส

นักพัฒนาสามารถใช้แพลตฟอร์มข้อมูลแบบกระจายแบบโอเพ่นซอร์สสำหรับการคำนวณแทนระบบประสานงานแบบกำหนดเองที่กล่าวถึงข้างต้น เนื่องจากแพลตฟอร์มนี้เป็นโอเพ่นซอร์สและสามารถขยายได้ เอเจนซี่จึงต้องสร้างส่วนประกอบที่ต้องการเท่านั้น การตั้งค่านี้สามารถตอบสนองสถานการณ์การใช้งานแอปพลิเคชันแบบมัลติคลาวด์ มัลติคอมพิวท์ ที่ไม่ใช่ศูนย์ข้อมูล และนำทางสภาพแวดล้อมด้านกฎระเบียบที่ซับซ้อน ที่สำคัญ การเข้าถึงชุมชนโอเพ่นซอร์สไม่ได้ขึ้นอยู่กับนักพัฒนาตั้งแต่หนึ่งคนขึ้นไปในการบำรุงรักษาระบบอีกต่อไป ซึ่งช่วยลดโอกาสที่จะเกิดความล้มเหลวได้

โซลูชันที่ 2: สร้างบนโปรโตคอลข้อมูลแบบกระจาย

ด้วยความช่วยเหลือของโปรเจ็กต์การประมวลผลขั้นสูง เช่น Bacalhau และ Lilypad นักพัฒนาสามารถก้าวไปอีกขั้นและสร้างระบบไม่เพียงแต่บนแพลตฟอร์มข้อมูลโอเพ่นซอร์สที่กล่าวถึงในโซลูชัน 1 เท่านั้น แต่ยังรวมถึงโปรโตคอลข้อมูลที่กระจายอย่างแท้จริง เช่น เครือข่าย Filecoin อีกด้วย

โซลูชันที่ 2: โปรโตคอลการประมวลผลข้อมูลแบบกระจาย

ซึ่งหมายความว่าสถาบันต่างๆ สามารถใช้โปรโตคอลแบบกระจายที่เข้าใจวิธีการประสานงานและอธิบายปัญหาของผู้ใช้ในลักษณะที่ละเอียดยิ่งขึ้น ซึ่งจะช่วยปลดล็อกพื้นที่การประมวลผลใกล้กับบริเวณที่มีการสร้างและจัดเก็บข้อมูล การเปลี่ยนแปลงจากศูนย์ข้อมูลไปเป็นโปรโตคอลแบบกระจายนี้สามารถทำได้โดยการเปลี่ยนแปลงประสบการณ์ของนักวิทยาศาสตร์ข้อมูลเพียงเล็กน้อยเท่านั้น

การกระจายหมายถึงการเพิ่มทางเลือกให้สูงสุด

ด้วยการปรับใช้บนโปรโตคอลแบบกระจาย เช่น เครือข่าย Filecoin วิสัยทัศน์ของเราก็คือผู้ใช้สามารถเข้าถึงเครื่องนับร้อย (หรือหลายพันเครื่อง) ที่กระจายอยู่ในภูมิภาคต่างๆ บนเครือข่ายเดียวกัน และปฏิบัติตามกฎโปรโตคอลเดียวกันกับเครื่องอื่นๆ นี่เป็นการเปิดทางเลือกมากมายสำหรับนักวิทยาศาสตร์ข้อมูล เนื่องจากพวกเขาสามารถขอเครือข่ายได้:

• เลือกชุดข้อมูลจากทุกที่ในโลก

• ปฏิบัติตามโครงสร้างการกำกับดูแล ไม่ว่าจะเป็น HIPAA, GDPR หรือ FISMA

• วิ่งในราคาที่ถูกที่สุด

Juan Triangle - ตัวย่อการถอดรหัส: FHE (การเข้ารหัส Homomorphic เต็มรูปแบบ), MPC (การคำนวณหลายฝ่าย), TEE (สภาพแวดล้อมการดำเนินการที่เชื่อถือได้), ZKP (หลักฐานความรู้เป็นศูนย์)

เมื่อพูดถึงแนวคิดของการเพิ่มตัวเลือกให้สูงสุด เราต้องพูดถึง สามเหลี่ยมของฮวน ซึ่งเป็นคำที่ผู้ก่อตั้ง Protocol Labs บัญญัติขึ้นมาฮวน เบเน็ต อธิบายเหตุใดกรณีการใช้งานที่แตกต่างกัน (ในอนาคต) จึงได้รับการสนับสนุนโดยเครือข่ายคอมพิวเตอร์แบบกระจายที่แตกต่างกัน

Juan Triangle เสนอว่าเครือข่ายคอมพิวเตอร์มักต้องการแลกเปลี่ยนระหว่างความเป็นส่วนตัว การตรวจสอบยืนยัน และประสิทธิภาพ และแนวทางแบบ หนึ่งขนาดที่เหมาะกับทุกคน แบบดั้งเดิมนั้นยากที่จะนำไปใช้กับทุกกรณีการใช้งาน แต่ลักษณะโมดูลาร์ของโปรโตคอลแบบกระจายทำให้เครือข่ายแบบกระจาย (หรือเครือข่ายย่อย) ที่แตกต่างกันสามารถตอบสนองความต้องการของผู้ใช้ที่แตกต่างกัน ไม่ว่าจะเป็นความเป็นส่วนตัว การตรวจสอบยืนยัน หรือประสิทธิภาพ ท้ายที่สุดแล้ว เราจะปรับให้เหมาะสมตามสิ่งที่เราคิดว่าสำคัญ เมื่อถึงตอนนั้น จะมีผู้ให้บริการหลายราย (แสดงเป็นกล่องภายในรูปสามเหลี่ยม) เข้ามาเติมเต็มช่องว่างเหล่านี้ และทำให้การประมวลผลแบบกระจายกลายเป็นความจริง

โดยรวมแล้วการประมวลผลข้อมูลเป็นปัญหาที่ซับซ้อนซึ่งจำเป็นต้องมีโซลูชันที่พร้อมใช้งานทันที การใช้ประโยชน์จากการประมวลผลข้อมูลแบบโอเพ่นซอร์สเพื่อแทนที่ระบบรวมศูนย์แบบเดิมถือเป็นก้าวแรกที่ดี ท้ายที่สุดแล้ว การใช้แพลตฟอร์มคอมพิวเตอร์บนโปรโตคอลแบบกระจาย เช่น เครือข่าย Filecoin สามารถกำหนดค่าทรัพยากรคอมพิวเตอร์ได้อย่างอิสระตามความต้องการส่วนบุคคลของผู้ใช้ ซึ่งเป็นสิ่งสำคัญในยุคของข้อมูลขนาดใหญ่และปัญญาประดิษฐ์

กรุณาให้ความสนใจคณะทำงาน CoDติดตามข่าวสารล่าสุดเกี่ยวกับการพัฒนาล่าสุดทั้งหมดในแพลตฟอร์มคอมพิวเตอร์แบบกระจาย หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับความก้าวหน้าของระบบนิเวศ Filecoin โปรดให้ความสนใจบล็อกข้อมูลเชิงลึกของ Filecoinและได้โปรดFilecoin เจาะลึกทวิตเตอร์、Bacalhau、Lilypad、Expansoเช่นเดียวกับCOD WGติดตามเราได้ที่.