Vitalik Buterin: Community Notes การทดลองบนโซเชียลมีเดียมีความมุ่งมั่นในการเข้ารหัสอย่างมาก

ผู้เขียนต้นฉบับ: Vitalik

การรวบรวมข้อความต้นฉบับ: Deep Tide TechFlow

สองปีที่ผ่านมาถือเป็นเรื่องปั่นป่วนสำหรับ Twitter (X) เมื่อปีที่แล้ว Elon Musk ซื้อแพลตฟอร์มดังกล่าวด้วยมูลค่า 44 พันล้านดอลลาร์ และปรับปรุงระบบพนักงาน การตรวจสอบเนื้อหา รูปแบบธุรกิจ และวัฒนธรรมเว็บไซต์ของบริษัท การเปลี่ยนแปลงเหล่านี้อาจมีสาเหตุมาจาก soft power ของ Elon Musk มากกว่าการตัดสินใจเชิงนโยบายที่เฉพาะเจาะจง อย่างไรก็ตาม ท่ามกลางการเคลื่อนไหวที่ก่อให้เกิดความขัดแย้ง คุณลักษณะใหม่บน Twitter กำลังได้รับความสำคัญอย่างรวดเร็ว และดูเหมือนว่าจะได้รับความโปรดปรานจากทุกสเปกตรัมทางการเมือง: หมายเหตุชุมชน

หมายเหตุชุมชนเป็นเครื่องมือตรวจสอบข้อเท็จจริงที่บางครั้งแนบคำอธิบายประกอบตามบริบทเข้ากับทวีต เช่นเดียวกับที่มาจาก Elon Musk ด้านบน เพื่อใช้เป็นเครื่องมือตรวจสอบข้อเท็จจริงและต่อต้านการบิดเบือนข้อมูล เดิมเรียกว่า Birdwatch และเปิดตัวครั้งแรกเป็นโครงการนำร่องในเดือนมกราคม 2021 ตั้งแต่นั้นมา ก็ค่อยๆ ขยายตัว โดยเป็นช่วงการขยายตัวที่รวดเร็วที่สุดซึ่งสอดคล้องกับการเข้าซื้อกิจการ Twitter ของ Elon Musk เมื่อปีที่แล้ว ปัจจุบัน หมายเหตุชุมชนเป็นฟีเจอร์ปกติของทวีตที่ได้รับความสนใจอย่างมากบน Twitter รวมถึงทวีตที่เกี่ยวข้องกับหัวข้อทางการเมืองที่เป็นข้อขัดแย้งด้วย ในความคิดของฉัน และจากการสนทนาของฉันกับผู้คนมากมายจากแวดวงการเมือง บันทึกเหล่านี้ให้ข้อมูลและมีคุณค่าเมื่อปรากฏ

แต่สิ่งที่ฉันสนใจมากที่สุดคือ Community Notes ซึ่งแม้จะไม่ใช่ โครงการ crypto แต่ก็น่าจะเป็นตัวอย่างที่ใกล้เคียงที่สุดของ ค่า crypto ที่เราเคยเห็นในโลกกระแสหลัก Community Notes ไม่ได้เขียนหรือดูแลโดยผู้เชี่ยวชาญที่ได้รับการคัดเลือกจากส่วนกลาง แต่ทุกคนสามารถเขียนและลงคะแนนได้ และ Notes ใดที่จะแสดงหรือไม่แสดงจะถูกกำหนดโดยอัลกอริธึมโอเพ่นซอร์สทั้งหมด เว็บไซต์ Twitter มีคำแนะนำโดยละเอียดและครอบคลุมซึ่งอธิบายวิธีการทำงานของอัลกอริทึม และคุณสามารถดาวน์โหลดข้อมูลที่มีบันทึกย่อและการโหวตที่โพสต์ เรียกใช้อัลกอริทึมในเครื่อง และตรวจสอบว่าผลลัพธ์ตรงกับสิ่งที่ปรากฏบนเว็บไซต์ Twitter แม้ว่าจะไม่สมบูรณ์แบบ แต่ก็ใกล้เคียงกับอุดมคติของความเป็นกลางที่น่าเชื่อถือได้อย่างน่าประหลาดใจในสถานการณ์ที่ค่อนข้างขัดแย้ง และมีประโยชน์มากในเวลาเดียวกัน

อัลกอริธึม Community Notes ทำงานอย่างไร

ใครก็ตามที่มีบัญชี Twitter ที่ตรงตามเกณฑ์ที่กำหนด (โดยพื้นฐานแล้ว: ใช้งานมานานกว่า 6 เดือน ไม่มีประวัติการละเมิด หมายเลขโทรศัพท์มือถือที่ยืนยันแล้ว) สามารถลงทะเบียนเพื่อเข้าร่วมหมายเหตุชุมชนได้ ขณะนี้ผู้เข้าร่วมกำลังได้รับการยอมรับอย่างช้าๆ และแบบสุ่ม แต่ท้ายที่สุดแล้ว มีแผนจะอนุญาตให้ใครก็ตามที่มีสิทธิ์เข้าร่วมได้ เมื่อได้รับการยอมรับแล้ว คุณสามารถมีส่วนร่วมในการให้คะแนนบันทึกที่มีอยู่ได้ก่อน และเมื่อการให้คะแนนของคุณดีเพียงพอ (วัดโดยการดูว่าการให้คะแนนใดตรงกับผลลัพธ์สุดท้ายของบันทึกนั้น) คุณยังสามารถเขียนบันทึกของคุณเองได้

เมื่อคุณเขียนบันทึก หมายเหตุจะได้รับคะแนนตามบทวิจารณ์ของสมาชิกหมายเหตุชุมชนคนอื่นๆ บทวิจารณ์เหล่านี้สามารถมองได้เป็นการโหวตในสามระดับคือ มีประโยชน์ ค่อนข้างมีประโยชน์ และ ไม่มีประโยชน์ แต่บทวิจารณ์ยังสามารถมีป้ายกำกับอื่นๆ ที่มีบทบาทในอัลกอริทึมได้ จากบทวิจารณ์เหล่านี้ Notes จะได้รับคะแนน หากคะแนนของหมายเหตุเกิน 0.40 หมายเหตุนี้จะถูกแสดง มิฉะนั้น หมายเหตุนี้จะไม่ปรากฏ

สิ่งที่ทำให้อัลกอริธึมมีเอกลักษณ์เฉพาะตัวคือวิธีคำนวณคะแนน ต่างจากอัลกอริธึมแบบง่าย ๆ ซึ่งออกแบบมาเพื่อคำนวณผลรวมหรือค่าเฉลี่ยของการให้คะแนนของผู้ใช้ และใช้สิ่งนั้นเป็นผลลัพธ์สุดท้าย อัลกอริธึมการให้คะแนนของ Community Notes จะพยายามจัดลำดับความสำคัญอย่างชัดเจนของผู้ที่ได้รับคะแนนเชิงบวกจากผู้ที่มีมุมมองที่แตกต่างกัน นั่นคือหากคนที่มักจะไม่เห็นด้วยกับการให้คะแนนในที่สุดก็เห็นด้วยกับบันทึกย่อใดบันทึกหนึ่ง หมายเหตุนั้นก็จะได้รับการจัดอันดับสูง

มาดูวิธีการทำงานให้ละเอียดยิ่งขึ้น เรามีชุดผู้ใช้และชุด Notes เราสามารถสร้างเมทริกซ์ M โดยที่เซลล์ Mij แสดงถึงวิธีที่ผู้ใช้ i-th ให้คะแนน Notes ที่ j

สำหรับ Note ใดๆ ผู้ใช้ส่วนใหญ่ไม่ได้ให้คะแนน Note นั้น ดังนั้นรายการส่วนใหญ่ในเมทริกซ์จะเป็นศูนย์ แต่ก็ไม่เป็นไร เป้าหมายของอัลกอริทึมคือการสร้างแบบจำลองสี่คอลัมน์ของผู้ใช้และ Notes โดยกำหนดสถิติสองรายการให้กับผู้ใช้แต่ละคน ซึ่งเราสามารถเรียกว่า ความเป็นมิตร และ ขั้ว และกำหนดสถิติสองรายการให้กับ Notes แต่ละรายการ เราเรียกมันว่า ประโยชน์ และ ขั้ว แบบจำลองพยายามทำนายเมทริกซ์เป็นฟังก์ชันของค่าเหล่านี้ โดยใช้สูตรต่อไปนี้:

โปรดทราบว่าที่นี่ฉันแนะนำคำศัพท์ที่ใช้ในรายงาน Birdwatch รวมถึงคำศัพท์ของฉันเองเพื่อให้เข้าใจได้ง่ายขึ้นว่าตัวแปรหมายถึงอะไรโดยไม่ต้องเข้าใจแนวคิดทางคณิตศาสตร์:

• μ คือพารามิเตอร์ ความคิดเห็นสาธารณะ ที่ใช้วัดว่าโดยทั่วไปผู้ใช้ให้คะแนนการให้คะแนนสูงเพียงใด

• iu คือ ความเป็นมิตร ของผู้ใช้ กล่าวคือ มีความเป็นไปได้เพียงใดที่ผู้ใช้มีแนวโน้มที่จะให้คะแนนสูง

• ในคือ ประโยชน์ ของโน้ต กล่าวคือ โน้ตนั้นมีแนวโน้มที่จะได้รับการจัดอันดับสูงเพียงใด นี่คือตัวแปรที่เราสนใจ

• fu หรือ fn คือ ขั้ว ของผู้ใช้หรือหมายเหตุ กล่าวคือ ตำแหน่งของพวกเขาบนแกนนำของความสุดขั้วทางการเมือง ในทางปฏิบัติ ขั้วลบหมายถึง การเอียงซ้าย โดยคร่าว และขั้วบวก การเอนไปทางขวา แต่โปรดทราบว่าแกนสุดขั้วได้มาจากการวิเคราะห์ข้อมูลผู้ใช้และข้อมูล Notes และแนวคิดเรื่องซ้ายและขวาไม่ได้ฮาร์ดโค้ดไว้

อัลกอริธึมใช้โมเดลการเรียนรู้ของเครื่องขั้นพื้นฐาน (การไล่ระดับสีแบบมาตรฐาน) เพื่อค้นหาค่าตัวแปรที่ดีที่สุดในการทำนายค่าเมทริกซ์ ประโยชน์ที่ได้รับมอบหมายให้กับบันทึกย่อนั้นๆ คือคะแนนสุดท้ายของบันทึกย่อนั้น หมายเหตุจะปรากฏขึ้นหากมีประโยชน์อย่างน้อย + 0.4

ความฉลาดหลักที่นี่คือ ขั้ว จะดูดซับคุณลักษณะของ Notes ซึ่งทำให้ผู้ใช้บางคนชอบและไม่ชอบโดยผู้ใช้รายอื่น ในขณะที่ ประโยชน์ จะวัดเฉพาะคุณลักษณะของ Notes เท่านั้น คุณสมบัติเหล่านี้นำไปสู่การถูกชอบ โดยผู้ใช้ทุกคน การเลือกประโยชน์จะระบุบันทึกที่ได้รับการอนุมัติข้ามเผ่า และไม่รวมบันทึกที่ได้รับการยกย่องในเผ่าหนึ่งแต่อีกเผ่าหนึ่งไม่ชอบ

ข้างต้นอธิบายเฉพาะส่วนหลักของอัลกอริทึมเท่านั้น จริงๆ แล้วยังมีกลไกเพิ่มเติมอีกมากมายที่เพิ่มเข้ามา โชคดีที่มีการอธิบายไว้ในเอกสารสาธารณะ กลไกเหล่านี้มีดังต่อไปนี้:

• อัลกอริทึมจะทำงานหลายครั้ง ในแต่ละครั้งจะมีการเพิ่ม การโหวตหลอก ที่สร้างขึ้นแบบสุ่มอย่างมากในการโหวต ซึ่งหมายความว่าเอาต์พุตที่แท้จริงของอัลกอริทึมสำหรับแต่ละ Notes คือช่วงของค่า และผลลัพธ์สุดท้ายจะขึ้นอยู่กับ ระดับความเชื่อมั่นที่ต่ำกว่า ที่นำมาจากช่วงนั้น และเปรียบเทียบกับเกณฑ์ที่ 0.32

• หากผู้ใช้จำนวนมาก (โดยเฉพาะผู้ใช้ที่มีขั้วคล้ายคลึงกับ Notes) ให้คะแนน Note ว่า ไม่มีประโยชน์ และพวกเขายังกำหนด ป้ายกำกับ เดียวกัน (เช่น ภาษาที่ก่อให้เกิดความขัดแย้งหรือลำเอียง แหล่งที่มาไม่รองรับ Notes) เป็น เหตุผลในการให้คะแนน เกณฑ์ความมีประโยชน์ที่จำเป็นสำหรับ Notes ที่จะเผยแพร่เพิ่มขึ้นจาก 0.4 เป็น 0.5 (ซึ่งอาจดูเล็กน้อย แต่มีความสำคัญมากในทางปฏิบัติ)

• หากยอมรับบันทึก ความมีประโยชน์จะต้องต่ำกว่าเกณฑ์ 0.01 คะแนนที่จำเป็นในการยอมรับบันทึก

• อัลกอริธึมทำงานได้มากขึ้นกับหลายรุ่น บางครั้งอาจเพิ่ม Notes ด้วยคะแนนประโยชน์ดิบระหว่าง 0.3 ถึง 0.4

โดยรวมแล้ว คุณจะได้รับโค้ด Python ที่ค่อนข้างซับซ้อน รวมทั้งหมด 6282 บรรทัด กระจายอยู่ใน 22 ไฟล์ แต่ทั้งหมดนี้เปิดอยู่ และคุณสามารถดาวน์โหลด Notes และให้คะแนนข้อมูล และเรียกใช้ด้วยตนเองเพื่อดูว่าผลลัพธ์ตรงกับสิ่งที่เกิดขึ้นจริงบน Twitter หรือไม่

แล้วในทางปฏิบัติ สิ่งนี้จะเป็นอย่างไร?

ความแตกต่างที่ใหญ่ที่สุดระหว่างอัลกอริธึมนี้และวิธีการรับคะแนนเฉลี่ยจากการโหวตของผู้คนอาจเป็นแนวคิดของสิ่งที่ฉันเรียกว่าค่า ขั้ว เอกสารอัลกอริทึมเรียกสิ่งเหล่านั้นว่า fu และ fn โดยใช้ f เป็นตัวประกอบเนื่องจากคำศัพท์ทั้งสองคูณกัน คำที่กว้างกว่านั้นส่วนหนึ่งเป็นเพราะความปรารถนาที่จะสร้าง fu และ fn หลายมิติในที่สุด

ขั้วถูกกำหนดให้กับผู้ใช้และบันทึกย่อ การเชื่อมโยงระหว่าง ID ผู้ใช้และบัญชี Twitter ที่ซ่อนอยู่นั้นตั้งใจเก็บไว้เป็นส่วนตัว แต่ Notes เป็นแบบสาธารณะ ในความเป็นจริง อย่างน้อยสำหรับชุดข้อมูลภาษาอังกฤษ ขั้วที่สร้างโดยอัลกอริทึมมีความสัมพันธ์อย่างใกล้ชิดกับด้านซ้ายและขวา

ต่อไปนี้เป็นตัวอย่าง Notes ที่มีขั้วประมาณ -0.8:

โปรดทราบว่าฉันไม่ได้เลือกเชอร์รี่ที่นี่ จริงๆ แล้วนี่คือสามแถวแรกในสเปรดชีต Score_notes.tsv ที่ฉันสร้างเมื่อฉันเรียกใช้อัลกอริทึมในเครื่อง และคะแนนขั้วของพวกมัน (เรียกว่า coreNoteFactor 1 ในสเปรดชีต) น้อยกว่า - 0.8.

ต่อไปนี้เป็นบันทึกย่อบางส่วนที่มีขั้วประมาณ +0.8 ปรากฏว่าหลายคนเป็นคนพูดถึงการเมืองบราซิลเป็นภาษาโปรตุเกส หรือแฟน Tesla โต้แย้งคำวิพากษ์วิจารณ์ Tesla ด้วยความโกรธ ดังนั้นผมขอเลือกสักหน่อยแล้วค้นหาบันทึกย่อที่ไม่อยู่ในหมวดหมู่ใดหมวดหมู่หนึ่ง:

เพียงเพื่อเตือนคุณอีกครั้ง"แบ่งไปทางซ้ายและขวา"ไม่ได้ฮาร์ดโค้ดลงในอัลกอริธึม แต่อย่างใด มันถูกค้นพบโดยการคำนวณ สิ่งนี้ชี้ให้เห็นว่าหากคุณใช้อัลกอริธึมนี้กับบริบททางวัฒนธรรมอื่น ๆ อัลกอริธึมจะสามารถตรวจจับความแตกแยกทางการเมืองหลักได้โดยอัตโนมัติและสร้างสะพานเชื่อมระหว่างพวกเขา

ในขณะเดียวกัน Notes ที่ได้รับประโยชน์สูงสุดจะมีลักษณะเช่นนี้ คราวนี้ เนื่องจาก Notes ปรากฏบน Twitter ฉันจึงสามารถจับภาพหน้าจอได้:

เเละอีกอย่าง:

สำหรับบันทึกย่อที่สอง จะเกี่ยวข้องโดยตรงกับธีมทางการเมืองที่มีพรรคพวกสูง แต่เป็นบันทึกที่ชัดเจน มีคุณภาพสูง และให้ข้อมูลซึ่งได้รับคะแนนสูง โดยรวมแล้ว ดูเหมือนว่าอัลกอริทึมจะใช้งานได้ และดูเหมือนว่าจะเป็นไปได้ที่จะตรวจสอบผลลัพธ์ของอัลกอริทึมโดยการรันโค้ด

ฉันคิดอย่างไรเกี่ยวกับอัลกอริทึม

สิ่งที่ทำให้ฉันประทับใจมากที่สุดเมื่อวิเคราะห์อัลกอริธึมนี้คือความซับซ้อน มีอันหนึ่ง"ฉบับกระดาษวิชาการ"ซึ่งใช้การไล่ระดับลงเพื่อหาค่าที่เหมาะสมที่สุดกับสมการเวกเตอร์และเมทริกซ์ระยะ 5 เทอม ตามด้วยเวอร์ชันจริง ซึ่งเป็นลำดับที่ซับซ้อนของการประมวลผลอัลกอริทึมซึ่งมีการประมวลผลที่แตกต่างกันมากมายและค่าสัมประสิทธิ์ตามอำเภอใจมากมายตลอดทาง

แม้แต่รายงานทางวิชาการก็ซ่อนความซับซ้อนที่ซ่อนอยู่ สมการที่ปรับให้เหมาะสมคือกำลังสองเชิงลบ (เนื่องจากมีเทอม fu*fn กำลังสองในสูตรการพยากรณ์ และฟังก์ชันต้นทุนจะวัดกำลังสองของข้อผิดพลาด) แม้ว่าการปรับสมการกำลังสองให้เหมาะสมเหนือตัวแปรจำนวนเท่าใดก็มักจะมีวิธีการแก้ปัญหาเฉพาะตัวเสมอ ซึ่งคุณสามารถหาได้ด้วยพีชคณิตเชิงเส้นที่ค่อนข้างพื้นฐาน แต่การปรับสมการกำลังสองให้เหมาะสมเหนือตัวแปรหลายตัวมักจะมีวิธีแก้ปัญหามากมาย ดังนั้นอัลกอริธึมการไล่ระดับสีหลายรอบ คำตอบที่แตกต่างกัน อาจจะได้รับ การเปลี่ยนแปลงอินพุตเล็กน้อยอาจทำให้การลงมาพลิกจากจุดต่ำสุดในพื้นที่หนึ่งไปยังอีกจุดหนึ่ง ส่งผลให้ผลลัพธ์เอาต์พุตเปลี่ยนแปลงไปอย่างมาก

ความแตกต่างระหว่างสิ่งนี้กับอัลกอริธึมที่ฉันช่วยพัฒนา เช่น การจัดหาเงินทุนกำลังสอง สำหรับฉันชอบความแตกต่างระหว่างอัลกอริธึมของนักเศรษฐศาสตร์ และอัลกอริธึมของวิศวกร อัลกอริทึมของนักเศรษฐศาสตร์ที่ดีที่สุดมุ่งเน้นไปที่ความเรียบง่าย วิเคราะห์ได้ง่าย และมีคุณสมบัติทางคณิตศาสตร์ที่ชัดเจนซึ่งระบุว่าอัลกอริทึมเหล่านี้เหมาะสมที่สุด (หรือแย่น้อยที่สุด) สำหรับงานที่ทำอยู่ และเป็นการพิสูจน์ที่ดีว่าคนๆ หนึ่งสามารถสร้างความเสียหายได้มากเพียงใด พยายามใช้ประโยชน์จากมัน ในทางกลับกัน อัลกอริธึมของวิศวกรนั้นได้มาจากกระบวนการลองผิดลองถูกซ้ำๆ เพื่อดูว่าอะไรได้ผลและอะไรใช้ไม่ได้ในสภาพแวดล้อมการทำงานของวิศวกร อัลกอริธึมของวิศวกรนั้นเน้นการปฏิบัติจริงและทำงานให้สำเร็จ อัลกอริธึมของนักเศรษฐศาสตร์ไม่ได้สูญเสียการควบคุมไปอย่างสิ้นเชิงเมื่อเผชิญกับสิ่งที่ไม่คาดคิด

หรือตามที่นักปรัชญาอินเทอร์เน็ต roon (หรือที่รู้จักในชื่อ tszzl) กล่าวไว้ในหัวข้อที่เกี่ยวข้อง:

แน่นอนว่า ฉันจะบอกว่าแง่มุม สุนทรียภาพทางทฤษฎี ของสกุลเงินดิจิทัลเป็นสิ่งจำเป็นเพื่อให้สามารถแยกแยะระหว่างโปรโตคอลที่ไม่น่าเชื่อถืออย่างแท้จริงกับโปรโตคอลที่ดูดีและทำงานได้ดีอย่างผิวเผิน แต่จริงๆ แล้วต้องอาศัยการไว้วางใจนักแสดงที่รวมศูนย์บางคน หรือแย่กว่านั้นคืออาจเป็นการหลอกลวงโดยสิ้นเชิง

การเรียนรู้เชิงลึกมีประสิทธิภาพภายใต้สภาวะปกติ แต่ก็มีจุดอ่อนที่หลีกเลี่ยงไม่ได้ต่อการโจมตีการเรียนรู้ของเครื่องฝ่ายตรงข้าม หากทำถูกต้อง กับดักทางเทคนิคและบันไดที่เป็นนามธรรมสูงสามารถตอบโต้การโจมตีเหล่านี้ได้ ฉันมีคำถาม: เราสามารถเปลี่ยน Community Notes ให้เป็นอะไรที่เหมือนกับอัลกอริทึมทางเศรษฐศาสตร์ได้หรือไม่?

หากต้องการดูในทางปฏิบัติว่าสิ่งนี้หมายความว่าอย่างไร เรามาสำรวจอัลกอริทึมที่ฉันคิดค้นขึ้นเพื่อจุดประสงค์ที่คล้ายกันเมื่อไม่กี่ปีก่อน: การระดมทุนแบบคู่ที่มีขอบเขตจำกัด

เป้าหมายของการระดมทุนกำลังสองที่มีขอบเขตเป็นคู่คือการเติมเต็มช่องโหว่ในการระดมทุนกำลังสองแบบ ทั่วไป ซึ่งแม้ว่าผู้เล่นสองคนจะสมรู้ร่วมคิดกัน พวกเขาสามารถบริจาคเงินจำนวนสูงมากให้กับโครงการปลอม ได้เงินคืนให้พวกเขา และรับ เงินอุดหนุนจำนวนมากที่จะระบายเงินทั้งหมดของคุณ ในการระดมทุนกำลังสองที่มีขอบเขตแบบคู่ เราจะกำหนดงบประมาณ M ที่จำกัดให้กับผู้เข้าร่วมแต่ละคู่ อัลกอริธึมจะวนซ้ำผู้เข้าร่วมทุกคู่ที่เป็นไปได้ และหากอัลกอริธึมตัดสินใจเพิ่มเงินอุดหนุนให้กับบางโครงการ P เนื่องจากทั้งผู้เข้าร่วม A และผู้เข้าร่วม B สนับสนุนเงินอุดหนุนนี้ เงินอุดหนุนนี้จะถูกหักออกจากงบประมาณที่จัดสรรให้กับคู่นั้น (A,B) . ดังนั้น แม้ว่าผู้เข้าร่วม k คนจะสมรู้ร่วมคิด พวกเขาก็ยังสามารถขโมยกลไกดังกล่าวได้มากที่สุด k*(k-1)*M

รูปแบบของอัลกอริธึมนี้ทำงานได้ไม่ดีในบริบทของบันทึกชุมชน เนื่องจากผู้ใช้แต่ละคนลงคะแนนเพียงเล็กน้อยเท่านั้น: โดยเฉลี่ยแล้ว คะแนนร่วมระหว่างผู้ใช้สองคนจะเป็นศูนย์ ดังนั้นโดยเพียงแค่ดูที่แต่ละคู่เป็นรายบุคคล ผู้ใช้ อัลกอริธึมไม่มีทางรู้ขั้วของผู้ใช้ได้ เป้าหมายของโมเดลการเรียนรู้ของเครื่องคือการพยายาม เติม เมทริกซ์จากแหล่งข้อมูลที่กระจัดกระจายมากซึ่งไม่สามารถวิเคราะห์ได้โดยตรงด้วยวิธีนี้ แต่ความท้าทายของแนวทางนี้คือต้องใช้ความพยายามเป็นพิเศษเพื่อหลีกเลี่ยงผลลัพธ์ที่มีความผันผวนสูงเมื่อเผชิญกับคะแนนเสียงที่ไม่ดีจำนวนเล็กน้อย

Community Notes สามารถยืนหยัดเคียงข้างซ้ายและขวาได้จริงหรือ?

เราสามารถวิเคราะห์ได้ว่าอัลกอริธึม Community Notes ทนทานต่อความสุดขั้วจริง ๆ หรือไม่ กล่าวคือ ทำงานได้ดีกว่าอัลกอริธึมการลงคะแนนแบบไร้เดียงสาหรือไม่ อัลกอริธึมการโหวตนี้ค่อนข้างทนทานต่อความสุดโต่งอยู่แล้ว: โพสต์ที่มีการถูกใจ 200 ครั้งและไม่ชอบ 100 ครั้งจะทำงานได้แย่กว่าโพสต์ที่มีการถูกใจเพียง 200 ครั้ง แต่ Community Notes ทำได้ดีกว่าหรือไม่?

จากมุมมองของอัลกอริธึมเชิงนามธรรม มันยากที่จะพูด เหตุใดโพสต์โพลาไรซ์ที่มีคะแนนเฉลี่ยสูงจึงไม่สามารถมีขั้วที่แข็งแกร่งและมีประโยชน์สูงได้ แนวคิดก็คือถ้าคะแนนโหวตขัดแย้งกัน ขั้วก็ควร ดูดซับ ฟีเจอร์ที่ทำให้โพสต์ได้รับคะแนนโหวตมากมาย แต่ทำได้จริงหรือ?

เพื่อตรวจสอบสิ่งนี้ ฉันรันการใช้งานแบบง่ายของฉันเป็นเวลา 100 รอบ ผลลัพธ์โดยเฉลี่ยจะเป็นดังนี้:

ในการทดสอบนี้ หมายเหตุ ดี ได้รับการจัดอันดับ +2 โดยผู้ใช้สังกัดทางการเมืองเดียวกัน, +0 โดยผู้ใช้สังกัดทางการเมืองตรงข้าม และหมายเหตุ ดีแต่สุดขั้วมากกว่า ได้รับการจัดอันดับโดยผู้ใช้สังกัดทางการเมืองเดียวกันที่ได้รับคะแนน +4 ใน และ -2 ในผู้ใช้ของฝ่ายตรงข้าม แม้ว่าคะแนนเฉลี่ยจะเท่ากัน แต่ขั้วก็ต่างกัน และในความเป็นจริง ประโยชน์โดยเฉลี่ยของบันทึกที่ ดี ดูเหมือนจะสูงกว่าประโยชน์โดยเฉลี่ยของบันทึกที่ ดีแต่เอนเอียงมาก

การมีอัลกอริธึมที่ใกล้เคียงกับ “อัลกอริธึมของนักเศรษฐศาสตร์” มากขึ้นจะมีเรื่องราวที่ชัดเจนยิ่งขึ้นว่าอัลกอริธึมลงโทษความสุดขั้วอย่างไร

ทั้งหมดนี้มีประโยชน์อย่างไรในสถานการณ์ที่มีเดิมพันสูง?

เราสามารถเรียนรู้เกี่ยวกับสิ่งเหล่านี้บางส่วนได้โดยดูจากสถานการณ์เฉพาะ ประมาณหนึ่งเดือนที่ผ่านมา Ian Bremmer บ่นว่าทวีตเกี่ยวกับเจ้าหน้าที่รัฐบาลจีนเพิ่มหมายเหตุชุมชนที่มีความสำคัญอย่างยิ่ง?item_id=888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติม? item_id= 888" target="_blank" rel="noopener noreferrer">ดูเพิ่มเติมแต่โน้ตถูกลบไปแล้ว

นี่เป็นงานที่น่ากลัว การออกแบบกลไกเป็นสิ่งหนึ่งในสภาพแวดล้อมชุมชน Ethereum ซึ่งการร้องเรียนที่ใหญ่ที่สุดอาจเป็นเพียง 20,000 ดอลลาร์ไปยังผู้มีอิทธิพลทาง Twitter ที่รุนแรง มันเป็นเรื่องที่แตกต่างกันเมื่อพูดถึงประเด็นทางการเมืองและภูมิรัฐศาสตร์ที่ส่งผลกระทบต่อผู้คนหลายล้านคน และทุกคนมีแนวโน้มที่จะยอมรับเจตนาที่เลวร้ายที่สุดอย่างสมเหตุสมผล แต่การมีปฏิสัมพันธ์กับสภาพแวดล้อมที่มีเดิมพันสูงเหล่านี้ถือเป็นสิ่งสำคัญหากนักออกแบบช่างเครื่องต้องการสร้างผลกระทบที่สำคัญต่อโลก

ในกรณีของ Twitter มีเหตุผลที่ชัดเจนที่ต้องสงสัยว่าการยักยอกแบบรวมศูนย์เป็นสาเหตุของการลบ Notes: Elon Musk มีผลประโยชน์ทางธุรกิจมากมายในประเทศจีน ดังนั้นจึงเป็นไปได้ที่ Elon Musk บังคับให้ทีม Community Notes เข้าไปแทรกแซงผลลัพธ์ของ อัลกอริธึมและลบบันทึกย่อนี้โดยเฉพาะ

โชคดีที่อัลกอริธึมนี้เป็นโอเพ่นซอร์สและตรวจสอบได้ ดังนั้นเราจึงสามารถเจาะลึกลงไปได้! ลงมือทำกันเถอะ. URL ของทวีตต้นฉบับคือ https://twitter.com/MFA_China/status/1676157337109946369 เลข 1676157337109946369 ต่อท้ายคือ ID ของทวีตครับ เราสามารถค้นหา ID นั้นในข้อมูลที่ดาวน์โหลดได้ และระบุแถวเฉพาะในสเปรดชีตที่มีหมายเหตุข้างต้น:

ที่นี่เรามี ID ของ Notes เอง 1676391378815709184 จากนั้นเราจะค้นหา ID นี้ในไฟล์ Score_notes.tsv และ note_status_history.tsv ที่สร้างขึ้นโดยการรันอัลกอริทึม เราได้รับผลลัพธ์ดังต่อไปนี้:

คอลัมน์ที่สองในเอาต์พุตแรกคือการจัดอันดับปัจจุบันของ Notes ผลลัพธ์ที่สองแสดงประวัติของ Notes: สถานะปัจจุบันอยู่ในคอลัมน์ที่เจ็ด (NEEDS_MORE_RATINGS) และสถานะแรกที่ได้รับซึ่งไม่ใช่ NEEDS_MORE_RATINGS อยู่ในคอลัมน์ที่ห้า (CURRENTLY_RATED_HELPFUL) ดังนั้นเราจึงเห็นได้ว่าอัลกอริธึมแสดง Notes เป็นครั้งแรก จากนั้นจึงลบออกหลังจากที่เรตติ้งลดลงเล็กน้อย ดูเหมือนว่าไม่มีการแทรกแซงจากส่วนกลางเข้ามาเกี่ยวข้อง

เรายังมองเรื่องนี้ได้อีกทางหนึ่งโดยดูจากการลงคะแนนเสียง เราสามารถสแกนไฟล์ Ratings-00000.tsv เพื่อแยกการให้คะแนนทั้งหมดสำหรับหมายเหตุนี้ และดูว่ามีกี่รายการที่ได้รับการจัดอันดับว่ามีประโยชน์และไม่_มีประโยชน์:

อย่างไรก็ตาม หากคุณจัดเรียงตามการประทับเวลาและดูที่คะแนนโหวตสูงสุด 50 อันดับแรก คุณจะเห็นว่ามีการโหวตว่ามีประโยชน์ 40 ครั้ง และโหวตว่า NOT_HELPFUL 9 ครั้ง ดังนั้นเราจึงได้ข้อสรุปเดียวกัน: Notes ได้รับการจัดอันดับเชิงบวกมากขึ้นจากผู้ชมกลุ่มแรก และน้อยลงตามกลุ่มผู้ชมกลุ่มหลัง ดังนั้นคะแนนจึงเริ่มต้นสูงและลดลงเมื่อเวลาผ่านไปและลดลง

น่าเสียดายที่เป็นการยากที่จะอธิบายอย่างชัดเจนว่า Notes เปลี่ยนสถานะอย่างไร ไม่ใช่เรื่องง่ายที่จะ ก่อนหน้านี้มีเรตติ้งสูงกว่า 0.40 แต่ปัจจุบันมีเรตติ้งต่ำกว่า 0.40 ดังนั้นจึงถูกลบออก แต่การตอบกลับ NOT_HELPFUL จำนวนมากจะทำให้เกิดเงื่อนไขข้อยกเว้นข้อใดข้อหนึ่ง ซึ่งจะเป็นการเพิ่มคะแนนความมีประโยชน์ที่ Notes จำเป็นต้องมีเพื่อให้อยู่เหนือเกณฑ์

นี่เป็นอีกโอกาสในการเรียนรู้ที่ยอดเยี่ยมที่สอนบทเรียนแก่เรา: การสร้างอัลกอริธึมที่เป็นกลางที่น่าเชื่อถือและเชื่อถือได้อย่างแท้จริงนั้นต้องทำให้มันเรียบง่าย หากบันทึกย่อเปลี่ยนจากการได้รับการยอมรับไปเป็นไม่ได้รับการยอมรับ ควรมีเรื่องราวที่เรียบง่ายและชัดเจนว่าทำไมจึงเป็นเช่นนี้

แน่นอนว่ายังมีอีกวิธีหนึ่งที่แตกต่างไปจากเดิมอย่างสิ้นเชิงที่สามารถจัดการการลงคะแนนเสียงนี้ได้: Brigading ผู้ที่เห็น Notes ที่พวกเขาไม่อนุมัติสามารถเรียกร้องให้ชุมชนที่มีส่วนร่วมสูง (หรือแย่กว่านั้นคือบัญชีปลอมจำนวนมาก) ให้คะแนนว่า NOT_HELPFUL และอาจใช้การโหวตไม่มากเกินไปเพื่อย้าย Notes จาก มีประโยชน์ กลายเป็น รุนแรง จำเป็นต้องมีการวิเคราะห์และการทำงานเพิ่มเติมเพื่อลดช่องโหว่ของอัลกอริทึมต่อการโจมตีที่มีการประสานงานดังกล่าวอย่างเหมาะสม การปรับปรุงที่เป็นไปได้อย่างหนึ่งคือการไม่อนุญาตให้ผู้ใช้ลงคะแนนในบันทึกย่อใดๆ แต่ให้สุ่มมอบหมายบันทึกย่อให้กับผู้ประเมินในลักษณะที่แนะนำโดยอัลกอริทึม สำหรับคุณ และอนุญาตให้เฉพาะผู้ประเมินให้คะแนนบันทึกย่อเหล่านั้นที่พวกเขาได้รับมอบหมายเท่านั้น

Community Notes ยัง กล้าหาญ ไม่พอหรือ?

คำวิจารณ์หลักที่ฉันเห็นเกี่ยวกับ Community Notes คือโดยพื้นฐานแล้วมันไม่ได้ผลเพียงพอ ฉันเห็นบทความล่าสุดสองบทความที่กล่าวถึงเรื่องนี้ หากต้องการอ้างอิงบทความใดบทความหนึ่ง:

กระบวนการนี้ประสบปัญหาจากข้อจำกัดร้ายแรงในการที่ Community Notes จะเผยแพร่ต่อสาธารณะได้ โดยทั่วไปจะต้องได้รับการยอมรับจากความเห็นพ้องต้องกันของผู้คนจากทุกแวดวงการเมือง

“มันจะต้องมีความเห็นพ้องต้องกันทางอุดมการณ์” เขากล่าว “นั่นหมายความว่าคนทางซ้ายและคนทางขวาต้องยอมรับว่าต้องแนบข้อความนั้นมากับทวีต”

โดยพื้นฐานแล้ว เขากล่าวว่า จำเป็นต้องมี ข้อตกลงข้ามอุดมการณ์เกี่ยวกับความจริง ซึ่งแทบจะเป็นไปไม่ได้เลยในสภาพแวดล้อมที่ฝักใฝ่ฝ่ายใดมากขึ้นเรื่อยๆ

เป็นคำถามที่ยุ่งยาก แต่ท้ายที่สุดแล้ว ฉันมักจะคิดว่าการให้ข้อมูลที่ผิดสิบทวีตถูกปล่อยให้เป็นอิสระ ดีกว่าหนึ่งทวีตที่มีคำอธิบายประกอบอย่างไม่ยุติธรรม เราได้เห็นการตรวจสอบข้อเท็จจริงมาหลายปีอย่างกล้าหาญ และจากมุมมอง จริงๆ แล้วเรารู้ความจริง เรารู้ว่าฝ่ายหนึ่งโกหกบ่อยกว่าอีกฝ่าย อะไรจะเกิดขึ้น?

พูดตามตรง มีความไม่ไว้วางใจแนวคิดการตรวจสอบข้อเท็จจริงค่อนข้างแพร่หลาย ในที่นี้ กลยุทธ์หนึ่งคือการพูดว่า: เพิกเฉยต่อคำวิจารณ์เหล่านั้น จำไว้ว่าผู้ตรวจสอบข้อเท็จจริงรู้ข้อเท็จจริงดีกว่าระบบการลงคะแนนใดๆ และยึดติดกับมัน แต่การใช้แนวทางนี้อย่างเต็มที่ดูเหมือนจะมีความเสี่ยง มีคุณค่าในการสร้างสถาบันระหว่างชนเผ่าที่อย่างน้อยทุกคนก็ค่อนข้างได้รับความเคารพ เช่นเดียวกับคำบอกเล่าของวิลเลียม แบล็กสโตนและศาล ฉันรู้สึกว่าการรักษาความเคารพนั้นจำเป็นต้องมีระบบที่ผิดพลาดโดยการละเลยมากกว่าความผิดพลาดโดยสมัครใจ ดูเหมือนว่าคุ้มค่าสำหรับฉันที่องค์กรหลักอย่างน้อยหนึ่งองค์กรกำลังใช้เส้นทางที่แตกต่างนี้ และมองว่าการเคารพระหว่างชนเผ่าที่หาได้ยากนั้นเป็นทรัพยากรอันมีค่า

อีกเหตุผลหนึ่งที่ฉันคิดว่าเป็นเรื่องปกติที่ Community Notes จะต้องอนุรักษ์นิยมก็คือ ฉันไม่คิดว่าทุกทวีตที่ให้ข้อมูลผิด หรือแม้แต่ทวีตที่ให้ข้อมูลผิดส่วนใหญ่ ควรได้รับข้อความแก้ไข แม้ว่าทวีตที่ให้ข้อมูลผิดน้อยกว่าหนึ่งเปอร์เซ็นต์จะได้รับการใส่คำอธิบายประกอบเพื่อให้บริบทหรือแก้ไข หมายเหตุชุมชนยังคงให้บริการที่มีคุณค่าอย่างยิ่งในฐานะเครื่องมือทางการศึกษา เป้าหมายไม่ใช่เพื่อแก้ไขทุกอย่าง แต่เป้าหมายคือการเตือนผู้คนว่ามีมุมมองที่หลากหลาย ว่าโพสต์บางโพสต์ที่ดูน่าเชื่อถือและแยกออกจากกันนั้นแท้จริงแล้วค่อนข้างผิด และคุณ (ใช่) มักจะทำสิ่งพื้นฐานได้ ค้นหาทางอินเทอร์เน็ตเพื่อตรวจสอบว่ามันผิด

Community Notes ไม่สามารถเป็นยาครอบจักรวาลสำหรับปัญหาทั้งหมดในญาณวิทยาสาธารณะได้ ไม่ว่าปัญหาใดๆ ก็ตามที่แก้ปัญหาไม่ได้ ก็ยังมีช่องว่างมากมายสำหรับกลไกอื่นๆ ที่จะเติมเต็ม ไม่ว่าจะเป็นอุปกรณ์รูปแบบใหม่ เช่น ตลาดการคาดการณ์ หรือองค์กรที่จัดตั้งขึ้นแล้วซึ่งจ้างพนักงานเต็มเวลาซึ่งมีความเชี่ยวชาญด้านโดเมนที่สามารถพยายามเติมเต็มช่องว่างได้

สรุปแล้ว

หมายเหตุชุมชนไม่เพียงแต่เป็นการทดลองที่น่าสนใจในโซเชียลมีเดียเท่านั้น แต่ยังเป็นตัวอย่างที่น่าสนใจของการออกแบบกลไกประเภทใหม่อีกด้วย: กลไกที่พยายามอย่างมีสติในการระบุจุดสุดขั้วและมีแนวโน้มที่จะส่งเสริมให้เกิดการครอสโอเวอร์มากกว่าที่จะทำให้เกิดการแบ่งแยกต่อไป

อีกสองตัวอย่างในหมวดหมู่นี้ที่ฉันทราบคือ: (i) กลไกการระดมทุนกำลังสองแบบคู่ที่ใช้ใน Gitcoin Grants และ (ii) Polis เครื่องมือการสนทนาที่ใช้อัลกอริธึมการจัดกลุ่มเพื่อช่วยให้ชุมชนระบุข้อความยอดนิยมทั่วไปที่ครอบคลุมผู้คนที่ มักจะมีความคิดเห็นที่แตกต่างกัน การออกแบบกลไกสาขานี้มีคุณค่า และฉันหวังว่าเราจะได้เห็นงานวิชาการในด้านนี้มากขึ้น

ความโปร่งใสของอัลกอริทึมที่ Community Notes มอบให้นั้นไม่ใช่โซเชียลมีเดียที่มีการกระจายอำนาจอย่างสมบูรณ์ - หากคุณไม่เห็นด้วยกับวิธีการทำงานของ Community Notes ก็ไม่มีทางที่จะเห็นมุมมองของอัลกอริทึมที่แตกต่างกันในเนื้อหาเดียวกัน แต่นี่เป็นสิ่งที่ใกล้เคียงที่สุดที่แอปพลิเคชันไฮเปอร์สเกลจะได้รับในอีกไม่กี่ปีข้างหน้า และเราเห็นว่ามันให้คุณค่ามากมายแล้ว ทั้งป้องกันการยักย้ายแบบรวมศูนย์ และสร้างความมั่นใจว่าแพลตฟอร์มที่ไม่มีส่วนร่วมในการยักย้ายดังกล่าวจะได้รับสิ่งที่พวกเขาสมควรได้รับการยอมรับ .

ฉันหวังว่าจะได้เห็น Community Notes และอัลกอริธึมหลายอย่างที่มีจิตวิญญาณคล้ายกันจะพัฒนาและเติบโตในทศวรรษหน้า