A falling-out that reshapes the AI landscape: The secret history of grudges between OpenAI and Anthropic
- Core viewpoint: In 2020, seven core members of OpenAI collectively left to found Anthropic due to a collapse of trust in management. The root cause was the accumulated suspicion and divergence in values from events such as the 2017 "national plan," and today the two sides still remain hostile toward each other.
- Key elements:
- Dario Amodei laid the technical roadmap for large models with the 26-page 2017 paper "Computational Mega-Cluster," and later became a core driver of GPT-2 and GPT-3.
- In 2017, the "national plan" proposed auctioning AGI rights to governments around the world. Amodei strongly opposed it, calling it "morally repugnant."
- Amodei believed that during the Microsoft investment negotiations Altman concealed the customer list and lied about the merger assistance terms, completely exhausting trust.
- At an all-hands meeting in December 2020, the seven were suddenly kicked out, their email and Slack access was revoked, and their computers were remotely locked.
- Anthropic expanded from an initial vision of about 50 people to thousands of employees, and is now sprinting toward a trillion-dollar valuation IPO, keeping pace with OpenAI.
- The two sides signed a non-disparagement agreement, but internally on Slack Dario called OpenAI "evil," while OpenAI employees accused them of hypocrisy.
ผู้เขียนต้นฉบับ: หลงเยว่
แหล่งที่มาต้นฉบับ: 华尔街见闻
ในเดือนธันวาคม 2020 ไม่กี่นาทีสุดท้ายของการประชุมทางวิดีโอแบบทั้งบริษัทของ OpenAI ได้พลิกโฉมภูมิทัศน์ของอุตสาหกรรม AI ไปอย่างสิ้นเชิง
Jack Clark หัวหน้าฝ่ายนโยบายของ OpenAI ในขณะนั้นพิมพ์ข้อความลงในช่องแชทว่า "ผมรักพวกคุณทุกคน" จากนั้นหน้าจอก็ดับลงทันที — สมาชิกแกนหลักของ OpenAI เจ็ดคนถูกเตะออกจากการประชุมพร้อมกัน สิทธิ์การเข้าถึงอีเมลถูกเพิกถอน บัญชี Slack ถูกปิดใช้งาน และแล็ปท็อปถูกล็อกระยะไกล นี่ไม่ใช่อุบัติเหตุ sondernเป็นจุดสิ้นสุดของการแตกหักที่วางแผนมาเป็นเวลานาน
คนทั้งเจ็ดนี้คือคนที่ Dario Amodei พาตัวไป ในขณะนั้นเขาเป็นรองประธานฝ่ายวิจัยของ OpenAI เป็นผู้ผลักดันหลักของ GPT-2 และ GPT-3 และเป็นคนที่เขียนเอกสารภายในความยาว 26 หน้าเพื่อวางรากฐานเส้นทางเทคโนโลยีของโมเดลขนาดใหญ่ เหตุผลที่เขาจากไปไม่ใช่เรื่องเงิน ไม่ใช่ตำแหน่ง แต่เป็นเพราะเขาเชื่อว่าคณะผู้บริหารของ OpenAI — โดยเฉพาะ Sam Altman — ไม่สามารถไว้ใจได้เลย
เมื่อวันที่ 29 กันยายน ตามการเปิดเผยของ Kevin Roose นักข่าวจากนิตยสาร The Atlantic ซึ่งใช้เวลาหลายปีและสัมภาษณ์ผู้เกี่ยวข้องกว่า 150 คน รากเหง้าของการแตกหักครั้งนี้สามารถสืบย้อนไปถึงแผนภายในที่เรียกว่า "Countries Plan" ในปี 2017 และความสงสัย การทะเลาะวิวาท และความรู้สึกถูกทรยศที่สะสมมาตลอดสามปีหลังจากนั้น
ห้าปีต่อมา Anthropic ที่คนทั้งเจ็ดนั้นก่อตั้งขึ้นมีพนักงานหลายพันคน และกำลังแข่งขันกับ OpenAI อย่างสูสีเพื่อมุ่งสู่ AGI แต่ความสัมพันธ์ระหว่าง Dario กับ Altman ตามคำบอกเล่าของแหล่งข่าวหลายคน ยังคงเป็น"การดูถูกกันและกัน"จนถึงทุกวันนี้

เอกสาร 26 หน้านั้น และความทะเยอทะยานของ Amodei
ในปี 2016 Dario Amodei ลาออกจาก Google และเข้าร่วม OpenAI
เขาสวมแว่นตากรอบกลม มีผมหยิกสีน้ำตาล และมีนิสัยใช้นิ้วหมุนปอยผมเมื่อรู้สึกตื่นเต้นหรือกำลังคิด เพื่อนร่วมงานบอกว่าเขาเป็น "อัจฉริยะ แต่ดื้อรั้น"

ภาพจากวิดีโอของ Dario Amodei
วิธีที่เขาแสดงความคิดเห็นคือการเขียนบทความยาว
ในปี 2017 เขาเขียนบทความภายในความยาว 26 หน้าที่มีชื่อว่า "Big Blob of Compute" บทความนี้เสนอว่า ปัญญาของเครื่องจักรโดยแท้จริงแล้วเป็นฟังก์ชันของขนาด — โมเดลยิ่งใหญ่ ยิ่งฉลาด
การตัดสินนี้ได้ผลักทิศทางการวิจัยของ OpenAI ไปสู่โมเดลภาษาขนาดใหญ่ (LLM) โดยตรง และยังวางรากฐานให้กับ GPT-2 และ GPT-3 ในเวลาต่อมา
ตามหลักแล้ว อาชีพการงานของ Amodei กำลังอยู่ในจุดสูงสุด ทีมของเขาไม่เพียงเสนอ "กฎการขยายขนาด (Scaling Laws)" ที่ใช้ทำนายการพัฒนาประสิทธิภาพของโมเดล แต่ยังบุกเบิกเทคโนโลยี "การเรียนรู้แบบเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF)" ที่ทำให้โมเดลห่างไกลจากผลลัพธ์ที่เป็นอันตราย
แต่เขากลับยิ่งมั่นใจมากขึ้นเรื่อยๆ ว่าเขาจะไม่อยู่เพื่อพัฒนา GPT-4 ต่อไป
"Countries Plan" แผนที่ทำให้เขาผิดหวังอย่างสิ้นเชิง
Amodei สูญเสียความเชื่อมั่นต่อผู้บริหารระดับสูงของบริษัท
เขาเห็นว่า Sam Altman เป็น "นัก manipulating สองหน้า" ส่วน Greg Brockman ประธานบริษัทเป็น "ผู้ที่ละโมบอำนาจและไม่คำนึงถึงผลกระทบ" เขาไม่ชอบการตัดสินใจนำ OpenAI ไปสู่เชิงพาณิชย์ เห็นว่ามันเบี่ยงเบนไปจากเจตนารมณ์เริ่มต้นที่ "ไม่ถูกจำกัดด้วยความจำเป็นในการสร้างผลตอบแทนทางการเงิน"
สิ่งที่ทำให้เขารู้สึกรังเกียจมากยิ่งขึ้นคือการแก่งแย่ง factions ภายใน
ผู้ที่เคยพูดคุยกับ Amodei เปิดเผยว่า ในขณะนั้น Amodei เห็นว่า OpenAI เป็น "เรื่องตลก" เป็นองค์กรที่ "บริหารโดยคนที่ขาดความซื่อสัตย์" แหล่งข่าวรายนี้กล่าวตรงๆ ว่า "มีวิกฤตใหม่ทุกวัน ถ้า Dario ไม่โมโหอย่างรุนแรง Sam ก็จะทำอะไรบ้าๆ ใหม่ภายใน 24 ชั่วโมง"
ชนวนได้ถูกฝังไว้ตั้งแต่ปี 2017
ในขณะนั้น Musk กำลังถอนตัวจาก OpenAI บริษัทต้องการเงินทุนอย่างเร่งด่วน ตามคำบอกเล่าของแหล่งข่าวห้าคน Brockman และ Ilya Sutskever ได้คิดแผนระดมทุนที่เรียกว่า "แผนระดับประเทศ" ("Countries Plan") ขึ้นมา โดยจัดการประมูลระหว่างรัฐบาลสหรัฐฯ และมหาอำนาจอื่นๆ เพื่อขายสิทธิ์ในเทคโนโลยี AGI ในอนาคตของ OpenAI
ตรรกะของ Brockman และ Sutskever คือ AGI มีความสำคัญต่อความมั่นคงแห่งชาติอย่างยิ่ง ไม่ช้าก็เร็วรัฐบาลจะยึดมันไปจากมือบริษัทเอกชน ในเมื่อต้องส่งมอบไม่วันใดก็วันหนึ่ง ทำไมไม่ขายตอนนี้เพื่อแลกกับเงินทุนสำหรับการพัฒนา?
"มันฟังดูเหมือนคนเทคโนโลยีกำลังขายสตาร์ทอัพบ้าๆ ที่มีแผนแปลกประหลาด ซึ่งขั้นตอนสุดท้ายก็คือ เราจะให้รัฐบาลเป็นคนจ่ายเงิน" ผู้ที่เคยฟังการนำเสนอแผนนี้ระลึก

Amodei ตกตะลึง เขาเห็นว่าการขาย AGI ให้รัฐบาลขัดแย้งกับพันธกิจของ OpenAI อย่างสิ้นเชิง
ในเดือนธันวาคม 2017 เขาเขียนอีเมลถึง Brockman, Sutskever และผู้บริหารคนอื่นๆ ด้วยถ้อยคำที่ตรงไปตรงมา:
"ในความเห็นของผม แผนนี้ไม่เพียงไม่ลดการแข่งอาวุธ แต่จะยิ่งทำให้มันรุนแรงขึ้น อาจนำไปสู่การละเมิดสิทธิมนุษยชน... และจะทำลายความชอบธรรมทางจริยธรรมของ OpenAI" เขายืนยันว่า OpenAI ควรมุ่งเป้าไปที่ "การเป็นประโยชน์ต่อมนุษยชาติ"
โฆษกของ OpenAI กล่าวกับ The Atlantic ในเวลาต่อมาว่า บริษัท "เคยพิจารณาชั่วครู่ถึงความเป็นไปได้ในการเปลี่ยน OpenAI ให้เป็นโครงการความร่วมมือระหว่างประเทศ" แต่ "ไม่เคยพิจารณาที่จะขาย AGI ให้ประเทศใดเลย"
แผนนี้ถูกพับเก็บไปในที่สุดเนื่องจากการเข้ามาของ Microsoft แต่ Dario ไม่ลืมว่า Brockman และ Sutskever เคยหารืออย่างจริงจังถึงแนวคิดที่เขาเห็นว่า "น่ารังเกียจทางศีลธรรม"
ความไว้วางใจที่ค่อยๆ หมดไป: รายชื่อที่ซ่อนไว้ เงื่อนไขการเข้าซื้อที่ถูกปฏิเสธ และเหตุการณ์ Kanye
ในสองปีถัดมา รอยร้าวขยายกว้างขึ้นเรื่อยๆ Amodei เริ่มบันทึกช่วงเวลาที่เขาเชื่อว่าถูก Altman หลอก
ตัวอย่างเช่น ระหว่างการทดสอบภายในแบบส่วนตัวของ GPT-3 Amodei ขอรายชื่อลูกค้าที่ได้รับอนุมัติจาก Altman Altman ส่งรายชื่อหนึ่งมาให้ แต่ Amodei อ้างในภายหลังว่าเขาพบรายชื่อที่ได้รับอนุมัติอีกฉบับที่ยาวกว่า ซึ่ง Altman ไม่ได้พูดถึงเลยแม้แต่คำเดียว
อีกตัวอย่าง ในระหว่างการเจรจากับ Microsoft เรื่องการลงทุน 1 พันล้านดอลลาร์ Amodei พยายามอย่างหนักที่จะรักษา "ข้อกำหนดการควบรวมและการช่วยเหลือ" ในธรรมนูญของ OpenAI ไว้ — นั่นคือ หากมีโครงการ AGI ที่ปลอดภัยกว่า OpenAI ควรหยุดแข่งขันและช่วยเหลือฝ่ายนั้น เขายืนยันว่า Microsoft ไม่มีสิทธิ์ยับยั้งการเข้าซื้อ OpenAI ในอนาคตที่เป็นไปได้ (ซึ่งเป็นวิธีที่น่าจะเป็นที่สุดในการบรรลุการควบรวมและช่วยเหลือ)
Altman บอกเขาว่า Microsoft ไม่เห็นด้วยกับข้อกำหนดนี้ แต่ Amodei มั่นใจว่า Altman ยอมผ่อนปรน (หรือไม่ได้พูดถึงเลย) เพราะรีบร้อนที่จะปิดดีล แล้วโกหกเขา
ยิ่งไปกว่านั้น ยังมีการตัดสินใจทางธุรกิจที่ดูเหมือนไร้สาระซึ่ง Amodei ทนไม่ได้ ในปี 2020 Altman พบกับแร็ปเปอร์ Kanye West และเสนอให้เขาเข้าร่วมการทดสอบภายในของ GPT-3 ในขณะนั้น Kanye เพิ่งเผยแพร่วิดีโอที่ดูเหมือนปัสสาวะใส่ถ้วยรางวัล Grammy และมีสภาพจิตใจที่ปั่นป่วนอย่างมาก Jack Clark ผู้อำนวยการฝ่ายนโยบายต้องออกมาฆ่าแนวคิดอันตรายนี้ในที่สุด
เรื่องเหล่านี้หากมองแยกกันอาจไม่เพียงพอที่จะทำให้ใครลาออก แต่ในใจของ Amodei มันประกอบกันเป็นข้อสรุปเดียว: ไม่มีทางที่จะมอบเทคโนโลยีที่ทรงพลังอย่าง AGI ให้กับคนแบบนี้ได้เด็ดขาด
"คณะที่ปรึกษาตุ๊กตา" และวงในฝ่ายความปลอดภัยที่โดดเดี่ยวมากขึ้น
Daniela Amodei น้องสาวของ Amodei ก็รู้สึกเบื่อหน่ายกับ OpenAI เช่นกัน
ในฐานะผู้บริหารที่มีประสบการณ์ทำงานในวงการการเมืองและมี EQ สูง Daniela กลายเป็นส่วนเสริมของความคลั่งไคล้ทางเทคนิคของพี่ชาย แต่เมื่อเธอเข้าดูแลทีมเทคนิคมากขึ้น ความขัดแย้งกับผู้บริหารก็เพิ่มขึ้นเรื่อยๆ

ภาพจากวิดีโอของ Daniela Amodei
ที่น่าสนใจคือ Daniela มีกลไกจัดการความขัดแย้งที่เป็นเอกลักษณ์ — คณะที่ปรึกษาตุ๊กตา
เธอและ Holden Karnofsky สมาชิกคณะกรรมการได้รวบรวมตุ๊กตาไว้เป็นจำนวนมากและกำหนดบทบาทให้แต่ละตัว: Jinji เป็นแมวขี้เกียจที่สนับสนุนให้เธอยกเลิกการประชุมและทำงานน้อยลง หมีสีชมพู Maura เป็นผู้จัดการแบบ Type A ที่ใส่ใจรายละเอียด ส่วนหมีแพนด้า Beary Bonds เป็น "หมีผู้พิทักษ์ความเอื้ออาทรและความเห็นอกเห็นใจ" เธอใช้วิธีเล่นบทบาทสมมติในการบริหารนี้แบบครึ่งจริงครึ่งเล่น
ถึงปี 2020 สองพี่น้อง Amodei เริ่มสร้างวงในของตัวเองขึ้นภายใน OpenAI
พวกเขาสร้างช่อง Slack ส่วนตัวที่เต็มไปด้วย "ศัพท์ลับด้านความปลอดภัย" ที่คนที่ไม่ใช่สายเทคนิคฟังไม่รู้เรื่อง เพื่อนร่วมงานเก่าระลึกว่า "ตอนนั้น Dario มีนิสัยคือพูดตรงๆ ว่า เราต้องทำ X; นี่คือสิ่งที่ถูกต้องทางศีลธรรม มันเหมือนทางลัดในการชนะการโต้เถียงใดๆ — 'เพราะความปลอดภัย' สิ่งนี้ทำให้ทีมที่ไม่ใช่สายความปลอดภัยหงุดหงิดมาก"

ในปี 2019 Amodei เกือบจะยอมแพ้ ถึงขั้นพิจารณาย้ายไป DeepMind แต่ Jared Kaplan ศาสตราจารย์ฟิสิกส์ที่รับผิดชอบการวิจัยเรื่องกฎการขยายขนาดได้เสนอแนวคิดที่พลิกโฉมกว่า: ในเมื่อแนวคิดไม่ตรงกัน ทำไมไม่พาคนที่ให้ความสำคัญกับความปลอดภัยทั้งหมดออกไปตั้งบริษัทเอง?
ในปี 2020 ปีเดียวกับที่ GPT-3 เปิดตัว Amodei ได้รวบรวมผู้ร่วมก่อตั้งครบ 7 คน
ก่อนที่จะเปิดไพ่ทั้งหมด Amodei ได้เสนอเงื่อนไขในการอยู่ต่อหลายข้อให้ Altman รวมถึงการให้ทีมความปลอดภัยมี "สิทธิ์ยับยั้ง" ต่อการเปิดตัวผลิตภัณฑ์ใหม่ เขารู้ว่าส่วนใหญ่จะถูกปฏิเสธ เพียงแค่อยากใช้เป็นแรงกดดันให้ Altman ประนีประนอม
ในระหว่างการเจรจา คนทั้งเจ็ดได้สร้างช่อง Slack ลับที่ชื่อ "BATNA" — ซึ่งเป็นศัพท์ทางธุรกิจที่หมายถึง "ทางเลือกที่ดีที่สุดในการเจรจาแทนข้อตกลง" พร้อมที่จะจากไปได้ทุกเมื่อ
ถอดสายเน็ต หน้าจอดับพรึบ
เมื่อยืนยันได้ว่า Altman จะไม่ตอบสนองข้อเรียกร้อง ทีม "BATNA" ได้จ้างทนายความและเริ่มเจรจาเงื่อนไขที่เรียกว่า "การหย่า"
ทั้งสองฝ่ายบรรลุข้อตกลง: ทีมที่ลาออกสามารถดึงพนักงานที่ต้องการได้ภายในไม่กี่สัปดาห์ แลกกับคำมั่นว่าจะไม่ดึงตัวในช่วงหนึ่งปีหลังจากนั้น สามารถนำเอกสารวิจัยภายในบางส่วนออกไปได้ ทั้งสองฝ่ายลงนามข้อตกลงไม่ดูหมิ่นกันและกัน และจะไม่พูดไม่ดีต่อกันในที่สาธารณะเด็ดขาด
ในเดือนธันวาคม 2020 การประชุมออนไลน์แบบทั้งบริษัทของ OpenAI ที่ชี้ชะตาก็ได้จัดขึ้น
Altman เปิดการประชุมตามปกติ รายงานความคืบหน้าด้านการวิจัย จากนั้นเขาก็มอบสิทธิ์ในการพูดให้ Amodei
Amodei ประกาศอย่างสงบว่าเขาและผู้นำอีก 6 คนจะลาออกเพื่อก่อตั้งองค์กร AI ที่มุ่งเน้นความปลอดภัย หน้าต่างแชทของการประชุมเต็มไปด้วยอีโมจิที่แสดงความตกใจและเครื่องหมายอัศเจรีย์ทันที ทุกคนต่างคาดเดากันว่า ใครจะฝึก GPT-4? ใครจะเป็นหัวหน้าใหม่ของฉัน?
ท่ามกลางความตะลึงงันที่เต็มหน้าจอ Jack Clark พิมพ์ประโยคสุดท้ายลงในช่องแชทว่า "ผมรักพวกคุณทุกคน (I love you all.)"
ทันใดนั้น ในชั่วพริบตา หน้าจอของคนทั้งเจ็ดก็ดับลงทั้งหมด

OpenAI เตะพวกเขาออกจากการประชุมโดยตรง เพิกถอนสิทธิ์การเข้าถึงอีเมลและ Slack และล็อกแล็ปท็อปของพวกเขาจากระยะไกล
หลายชั่วโมงต่อมา ผู้ก่อตั้งที่เพิ่งตกงานกลุ่มนี้ได้จัดการประชุมทางวิดีโอครั้งแรก ไม่มีคอมพิวเตอร์ ไม่


