จาก "คำศัพท์" ถึง "สัญลักษณ์": การต่อสู้ด้านความรู้ความเข้าใจพื้นฐานของ AI หลังชื่อภาษาจีนของ Token

เมื่อเร็วๆ นี้ คณะกรรมการกำหนดศัพท์วิทยาศาสตร์แห่งชาติได้ออกประกาศ แนะนำให้แปลคำว่า "Token" ในสาขาปัญญาประดิษฐ์เป็น "คำหน่วย" และเปิดให้ทดลองใช้ในสังคม ต่อมา หนังสือพิมพ์ People's Daily ได้ตีพิมพ์บทความชื่อ "ผู้เชี่ยวชาญอธิบายว่าทำไมชื่อภาษาจีนของ token จึงกำหนดเป็น 'คำหน่วย'" ซึ่งอธิบายอย่างเป็นระบบถึงการตั้งชื่อนี้จากมุมมองทางวิชาชีพ

บทความกล่าวว่า คำว่า "token" มีต้นกำเนิดมาจากภาษาอังกฤษโบราณ tācen ซึ่งหมายถึง "สัญลักษณ์" หรือ "เครื่องหมาย" ในโมเดลภาษา token คือหน่วยย่อยที่เล็กที่สุดและไม่ต่อเนื่องกันที่ได้จากการแบ่งข้อความหรือการเข้ารหัสระดับไบต์ ซึ่งสามารถปรากฏในรูปแบบต่างๆ เช่น คำ คำย่อย คำเติม หรืออักขระ โมเดลแสดงความสามารถทางปัญญาบางอย่างผ่านการสร้างแบบจำลองลำดับของ token

ชื่อแปลนี้ได้รับการพิจารณาในระบบการพิสูจน์โดยผู้เชี่ยวชาญว่าสอดคล้องกับหลักการของความหมายเดียว วิทยาศาสตร์ ความเรียบง่าย และความสอดคล้องกัน และยังมีพื้นฐานการใช้งานบางส่วนในบริบทภาษาจีนปัจจุบัน อย่างไรก็ตาม หลังจากอ่านคำอธิบายที่เกี่ยวข้อง ฉันมีความเข้าใจที่แตกต่างเกี่ยวกับเส้นทางการตั้งชื่อนี้

จากมุมมองของการมาตรฐาน แผนการตั้งชื่อนี้มีความเข้าใจได้และมีข้อได้เปรียบในการเผยแพร่ในระยะสั้น แต่หากพิจารณาจากมุมมองของ ontology การคำนวณ โครงสร้างข้อมูล การพัฒนาข้ามโหมด และความสอดคล้องของการแปลกลับ ความเหมาะสมในระยะยาวยังคงต้องได้รับการตรวจสอบเพิ่มเติม ในบริบทนี้ เส้นทางทางเลือกที่ควรค่าแก่การสนใจเช่นกัน - "สัญลักษณ์หน่วย" - เริ่มแสดงให้เห็นถึงความสอดคล้องเชิงโครงสร้างและความเสถียรข้ามบริบทที่แข็งแกร่งขึ้น

1. ความคลาดเคลื่อนของคำจำกัดความ: อย่าใช้ "ต้นกำเนิด" แทน "แก่นแท้"

มุมมองบทความ (เฉิน ซีหลิน นักวิจัยจากสถาบันเทคโนโลยีคอมพิวเตอร์ สภาวิทยาศาสตร์จีน): บทบาทเริ่มต้นของ Token ในปัญญาประดิษฐ์คือ "หน่วยความหมายพื้นฐานของภาษา" ดังนั้น "คำหน่วย" จึงสามารถสอดคล้องกับแก่นแท้ของมันได้มากขึ้น

การตัดสินนี้มีความสมเหตุสมผลในบริบททางประวัติศาสตร์ แต่ในปัจจุบันที่กระบวนทัศน์ทางเทคโนโลยีกำลังก้าวกระโดดอย่างมาก ความคิดนี้โดยพื้นฐานแล้วคือ "การยึดติดกับอดีตทางวิชาการ"

ในระดับตรรกะของการกำหนดศัพท์ จำเป็นต้องแยกแยะอย่างเคร่งครัดระหว่าง "สถานการณ์การใช้งานเริ่มต้น" และ "คุณลักษณะเชิงโครงสร้างโดยพื้นฐาน"

Token มีต้นกำเนิดมาจากการประมวลผลภาษาธรรมชาติ (NLP) จริง แต่ในเส้นทางวิวัฒนาการของ AGI มันได้ก้าวข้ามขอบเขตของโมเดลภาษาไปนานแล้ว วิวัฒนาการเป็นหน่วยพื้นฐานสำหรับการประมวลผลข้อความ รูปภาพ เสียง และแม้แต่สัญญาณทางกายภาพอย่างเป็นหนึ่งเดียว ในระบบการคำนวณสมัยใหม่ โครงสร้าง ontology ที่แท้จริงของ Token คือ "หน่วยสัญลักษณ์ที่ไม่ต่อเนื่อง" ไม่ใช่หน่วยภาษาของโหมดเดียว

หากตั้งชื่อตาม "บทบาทเริ่มต้น" คอมพิวเตอร์ (Computer) ควรเรียกว่า "มือคำนวณอิเล็กทรอนิกส์" (เนื่องจากหน้าที่เริ่มต้นแทนที่พนักงานคำนวณมนุษย์) อินเทอร์เน็ต (Internet) ควรเรียกว่า "เครือข่ายทหารสงครามเย็น" จุดอ่อนร้ายแรงของตรรกะการตั้งชื่อนี้คือ: มันเห็นเพียง "งานชั่วคราว" ของเทคโนโลยีในช่วงเวลาประวัติศาสตร์เฉพาะ แต่ละเลย "ontology ทางกายภาพ" ที่ข้ามผ่านยุคสมัย

เส้นทางทางประวัติศาสตร์ไม่เท่ากับคุณลักษณะโดยพื้นฐาน ในทำนองเดียวกัน เราไม่สามารถล็อค Token ไว้ในบริบทแคบของ "คำ" อย่างถาวร เพียงเพราะมันถูกใช้ในการประมวลผลข้อความในตอนแรก

การใช้ "สถานการณ์การใช้งานเริ่มต้น" ในการกำหนดแนวคิดพื้นฐาน โดยพื้นฐานแล้วคือการใช้การพึ่งพาเส้นทางทางประวัติศาสตร์แทนที่ความจริงเชิงโครงสร้างของ ontology คำจำกัดความนี้อาจให้ความสะดวกในการทำความเข้าใจในยุคแรกๆ ของเทคโนโลยี แต่ในขั้นตอนการขยายกระบวนทัศน์ของการระเบิดข้ามโหมด มันจะล้มเหลวอย่างรวดเร็วและกลายเป็นพันธนาการที่ขัดขวางการรับรู้ ในทางตรงกันข้าม "สัญลักษณ์หน่วย" จัดตำแหน่งโดยตรงกับ ontology สัญลักษณ์ของการคำนวณข้ามโหมด มันไม่ได้กำหนด "อดีต" ของ Token แต่คือ "ความจริง" ของ Token

2. ขอบเขตของการเปรียบเทียบ: เมื่อคำอธิบายกลายเป็นคำจำกัดความ มันจะเริ่มเบี่ยงเบน

มุมมองบทความ (ตง ยู่เซี่ยว รองศาสตราจารย์ภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัยชิงหวา): สามารถเข้าใจหน่วยที่ไม่ต่อเนื่องในหลายโหมดว่าเป็น "คำในความหมายกว้าง" ผ่านการเปรียบเทียบเช่น "เมฆคำ" "ถุงคำ"

การเปรียบเทียบของศาสตราจารย์ตง ยู่เซี่ยว ช่วยในการทำความเข้าใจ แต่ไม่ควรแทนที่คำจำกัดความ แนวคิดนี้มีคุณค่าทางการกระตุ้นความคิดในระดับการอธิบาย แต่หากยกระดับขึ้นเป็นพื้นฐานการตั้งชื่อต่อไป อาจทำให้เกิดความคลาดเคลื่อนของขอบเขตแนวคิดในระดับแนวคิด

จากมุมมองของวิธีการ หน้าที่ของการเปรียบเทียบคือการลดเกณฑ์การทำความเข้าใจ ในขณะที่หน้าที่ของคำจำกัดความคือการกำหนดขอบเขตความหมาย เมื่อ "คำ" ถูกขยายเพื่อครอบคลุมแพทช์รูปภาพ (patch) เซกเมนต์เสียง การแสดงเวกเตอร์ (embedding) และแม้แต่สัญญาณการรับรู้ที่กว้างขึ้น คุณลักษณะทางภาษาดั้งเดิมของมันถูกทำให้เจือจางลงอย่างต่อเนื่อง ขอบเขตความหมายมีแนวโน้มที่จะคลุมเครือ เส้นทางการขยายที่ขับเคลื่อนโดย "การเปรียบเทียบ" นี้ สามารถรักษาความสอดคล้องของการอธิบายได้ในระยะสั้น แต่ในการวิวัฒนาการระยะยาว มักทำให้เกิดการเลื่อนของความหมาย

ในด้านความสามารถในการขยายข้ามโหมด จำเป็นต้องระวังการเลื่อนจาก "การเปรียบเทียบ" ไปสู่ "คำจำกัดความ" ในบริบทของการตรวจสอบศัพท์ จำเป็นต้องแยกแยะขอบเขตระหว่าง "การอุปมาอุปไมยเพื่ออธิบาย" และ "คำจำกัดความเชิง ontology" เพื่อหลีกเลี่ยงไม่ให้อดีตเข้ามาแทนที่后者

ตัวอย่างเปรียบเทียบที่ชัดเจนกว่านี้คือ: ในบริบทการเผยแพร่วิทยาศาสตร์ เราสามารถเปรียบเทียบหลอดไฟเป็น "ดวงอาทิตย์ประดิษฐ์" เพื่อเพิ่มความเข้าใจโดยตรง แต่ในระบบการตั้งชื่อทางวิทยาศาสตร์ เป็นไปไม่ได้ที่จะเปลี่ยนชื่อหน่วยกระแสไฟฟ้า "แอมแปร์" (Ampere) เป็น "หน่วยแสง" ตามนี้ อันแรกเป็นส่วนของการแสดงออกเชิงพรรณนา ในขณะที่อันหลังเกี่ยวข้องกับระบบการวัดและคำจำกัดความมาตรฐานที่เข้มงวด ทั้งสองไม่สามารถใช้ร่วมกันได้

ในทำนองเดียวกัน คำศัพท์เช่น "เมฆคำ" "ถุงคำ" โดยพื้นฐานแล้วเป็นอุปมาอุปไมยเชิงพรรณนาหรือทางสถิติ หน้าที่ของมันคือช่วยในการทำความเข้าใจโครงสร้างข้อมูลหรือรูปแบบการกระจาย ในขณะที่ Token ในฐานะหน่วยการวัดพื้นฐานในโมเดลขนาดใหญ่ ได้ฝังลึกอยู่ในระบบการคิดค่าบริการกำลังประมวล การฝึกโมเดล และการวัดทางวิชาการ เมื่อปริมาณการใช้งานถึงระดับการเรียกใช้หลายแสนล้านถึงหลายล้านล้านครั้งต่อวัน ชื่อที่มันแบกรับไม่เพียงแต่เป็นฟังก์ชันการอธิบายเท่านั้น แต่ยังเป็นแนวคิดพื้นฐานที่มีความหมายทางวิศวกรรมและมาตรฐาน ในระดับนี้ ศัพท์จำเป็นต้องจัดตำแหน่งกับคุณลักษณะ ontology ของมันมากขึ้น แทนที่จะพึ่งพาการขยายการเปรียบเทียบ

หากผลักดันตรรกะการเปรียบเทียบนี้ไปสู่ระดับการตั้งชื่อเพิ่มเติม แท้จริงแล้วมันซ่อนสมมติฐานอันตรายไว้: เนื่องจากผู้คนคุ้นเคยกับการใช้ "คำ" เพื่อทำความเข้าใจ Token แล้ว ดังนั้นควรใช้การเปรียบเทียบนี้ต่อไป แต่สิ่งนี้จริงๆ แล้วคือความต่อเนื่องของการพึ่งพาเส้นทาง - ใช้ความสะดวกของการรับรู้ที่มีอยู่ แทนที่การแก้ไข ontology ของแนวคิด ในแง่นี้ การตั้งชื่อนี้ใกล้เคียงกับ "ลัทธิโรแมนติกทางภาษาศาสตร์" มากกว่า การจัดตำแหน่งที่เข้มงวดกับ ontology การคำนวณ

เราไม่สามารถพูดถึง "ม้าไฟฟ้า" ในมอเตอร์ไฟฟ้า เพียงเพราะ "แรงม้า" มีคำว่า "ม้า" อยู่ การเปรียบเทียบสามารถกระตุ้นความเข้าใจได้ แต่ไม่สามารถกำหนดมาตรฐานได้

ในทางตรงกันข้าม "สัญลักษณ์" ในฐานะแนวคิดที่เป็นกลางมากกว่า โดยธรรมชาติมีความสามารถในการปรับตัวข้ามโหมด โดยไม่ต้องพึ่งพาคำอธิบายเพิ่มเติมก็สามารถครอบคลุมรูปแบบข้อมูลต่างๆ เช่น ข้อความ รูปภาพ เสียง ดังนั้น เส้นทางการตั้งชื่อที่เน้น "หน่วยสัญลักษณ์" เป็นแกนกลาง ใกล้เคียงกับโครงสร้างพื้นฐานของ Token มากขึ้นในระดับคำจำกัดความ ภายใต้ตรรกะนี้ "สัญลักษณ์หน่วย" ในฐานะชื่อแปลที่สอดคล้องกัน มีความสอดคล้องของแนวคิดและความเหมาะสมในระยะยาวที่สูงกว่า

3. ต้นทุนของการรับรู้: เมื่อจุดยึดความหมายสร้างความเข้าใจผิดอย่างเป็นระบบ

มุมมองบทความ (ความคิดเห็นผู้เชี่ยวชาญโดยรวม): "คำหน่วย" แสดงออกอย่างกระชับ สอดคล้องกับนิสัยการใช้ภาษาจีน ง่ายต่อการเผยแพร่

การตัดสินนี้มีความสมเหตุสมผลในระดับการเผยแพร่ แต่สมมติฐานโดยนัยคือ: สาธารณชนสามารถยอมรับการเปรียบเทียบข้ามโหมดของ "คำ" อย่างไรก็ตาม การเปรียบเทียบโดยพื้นฐานแล้วเป็นเครื่องมือการคิดของผู้เชี่ยวชาญ ไม่ใช่วิธีการรับรู้ตามธรรมชาติของมวลชน สำหรับผู้ใช้ทั่วไป "คำ" มีผลการยึดความหมายที่แข็งแกร่งมาก - ทันทีที่ได้ยิน "คำ" สัญชาตญาณของพวกเขาจะชี้ไปที่ระบบภาษาโดยตรง ไม่ใช่โหมดอื่นๆ เช่น รูปภาพ เสียง หรือการกระทำ เส้นทางการรับรู้นี้ไม่ใช่ปัญหาทางเทคนิค แต่เป็นโครงสร้างที่มั่นคงในระดับจิตวิทยาการรับรู้

บนพื้นฐานนี้ เมื่อ "คำ" ถูกขยายเป็นสิ่งที่เรียกว่า "คำในความหมายกว้าง" แท้จริงแล้วมันได้สร้างความเอนเอียงในการรับรู้ของผู้ใช้แล้ว ผู้ใช้สร้างความเข้าใจโดยสัญชาตญาณว่า "คำ = หน่วยภาษา" ก่อน ไม่ใช่แนวคิดเชิงนามธรรมของ "หน่วยสัญลักษณ์ข้ามโหมด" ทันทีที่ความเข้าใจผิดนี้ถูกสร้างขึ้น คำอธิบายทั้งหมดในภายหลังจะกลายเป็นการแก้ไขการรับรู้ที่มีอยู่ แทนที่จะเป็นการขยายความเข้าใจตามธรรมชาติ

ตัวอย่างเช่น เมื่อสื่อรายงานว่า "โมเดลใช้คำหน่วย 10 ล้านล้านในการฝึก" สาธารณชนมักเข้าใจว่า "อ่านข้อความจำนวนมาก" โดยละเลยข้อมูลรูปภาพ เสียง และข้อมูลโหมดอื่นๆ จำนวนมากที่รวมอยู่ด้วย ความเข้าใจผิดนี้ไม่ใช่กรณีเฉพาะ แต่เกิดจากการยึดความหมายของศัพท์เองที่ก่อให้เกิดการเหนี่ยวนำอย่างเป็นระบบ

ในบริบททางวิศวกรรมจริง การตั้งชื่อนี้อาจนำมาซึ่งความขัดแย้งในการสื่อสารข้ามสาขาวิชา เมื่อหน่วยที่ไม่ต่อเนื่องในโมเดลภาพหรือโมเดลเสียงถูกเรียกว่า "คำ" ไม่เพียงแต่容易ทำให้เกิดความเข้าใจผิดทางความหมายเท่านั้น แต่ยังสร้างความขัดแย้งทางภาษาที่ไม่จำเป็นระหว่างสาขาต่างๆ ระบบหลายโหมดต้องการ "ความเป็นหนึ่งเดียวในระดับสัญลักษณ์" ไม่ใช่การขยายขอบเขตทางภาษา

ในทางตรงกันข้าม "สัญลักษณ์" ในฐานะแนวคิดที่เป็นนามธรรมมากกว่า แม้ว่าเกณฑ์การทำความเข้าใจเริ่มต้นจะสูงกว่าเล็กน้อย แต่การชี้นำความหมายเป็นกลางมากขึ้น จะไม่ล็อคการรับรู้ไว้ที่ระดับภาษาล่วงหน้า ในการใช้งานระยะยาว มีประโยชน์มากขึ้นในการสร้างกรอบการรับรู้ที่มั่นคงและเป็นหนึ่งเดียว ดังนั้นจึงลดต้นทุนการอธิบายโดยรวม และให้พื้นฐานการรับรู้ที่มั่นคงมากขึ้นสำหรับความเป็นหนึ่งเดียวหลายโหมด

ต้นทุนของการตั้งชื่อไม่ได้เกิดขึ้นในเวลาที่กำหนด แต่เกิดขึ้นในเวลาที่แก้ไข; ทันทีที่การตั้งชื่อในระยะแรกสร้างการยึดความหมาย ต้นทุนของการซ่อมแซมการรับรู้ในภายหลังจะเพิ่มขึ้นแบบทวีคูณ

ผู้เชี่ยวชาญสามารถขยายขอบเขตของ "คำ" ผ่านการเปรียบเทียบได้ แต่สาธารณชนจะไม่เข้าใจแนวคิดผ่านการเปรียบเทียบ การตั้งชื่อไม่ได้ให้บริการผู้เชี่ยวชาญ แต่รับผิดชอบต่อระบบการรับรู้ของยุคสมัยทั้งหมด

4. ภาพลวงตาแห่งความหมายเดียว: เมื่อคำหนึ่งพยายามแบกรับสองระบบ

มุมมองบทความ (หลักการตรวจสอบศัพท์): "คำหน่วย" สอดคล้องกับหลักการความหมายเดียว ช่วยแก้ปัญหาความสับสนในการแปล

ในด้านความหมายเดียวของศัพท์ จำเป็นต้องให้ความสนใจเป็นพิเศษกับความเสี่ยงอย่างเป็นระบบที่อาจเกิดขึ้นจาก "หนึ่งคำสองความหมาย" ในการตรวจสอบศัพท์วิทยาศาสตร์ "ความหมายเดียว" เป็นหนึ่งในหลักการพื้นฐาน หากศัพท์ต้องการพึ่งพาบริบทหรือคำอธิบายเพิ่มเติมเพื่อแยกแยะความหมาย ค่าของมันในฐานะชิ้นส่วนมาตรฐานก็สูญเสียไปแล้ว

อย่างไรก็ตาม จากระบบวิชาการที่มีอยู่ การตัดสินนี้ยังมีพื้นที่สำหรับการอภิปรายเพิ่มเติม คำว่า "คำหน่วย" ในสาขาภาษาศาสตร์และการประมวลผลภาษาธรรมชาติ (NLP) ได้ "มีเจ้าของแล้ว" ตั้งแต่เนิ่นๆ ในภาษาศาสตร์คลาสสิก มันสอดคล้องกับแนวคิดภาษาอังกฤษ Lemma เป็นเวลานาน นั่นคือรูปแบบมาตรฐานดั้งเดิมของคำ (ตัวอย่างเช่น คำหน่วยของ is/am/are คือ be) การใช้งานนี้ได้สร้างฉันทามติที่มั่นคงในตำราเรียนพื้นฐานและเอกสารวิชาการด้านภาษาศาสตร์และ NLP

ในบริบทนี้ หากแปล Token เป็น "คำหน่วย" เช่นกัน ในนิพจน์เฉพาะจะทำให้เกิดความขัดแย้งทางความหมายง่าย และจะเกิดสถานการณ์ที่หายนะ

ตัวอย่างเช่น เมื่ออธิบาย "การดำเนินการลดรูปคำใน NLP (lemmatize a token)" นิพจน์ภาษาจีนจะปรากฏโครงสร้าง "ทำ 'คำหน่วย' ให้เป็น 'คำหน่วย'" นิพจน์นี้ไม่เพียงแต่เพิ่มต้นทุนการทำความเข้าใจเท่านั้น แต่ยังนำความกำกวมเข้ามาในการเขียนทางวิชาการและการค้นหาข้อมูล ทำให้ผู้อ่านแยกแยะได้ยากว่า "คำหน่วย" ชี้ไปที่หน่วยที่ไม่ต่อเนื่องที่ถูกแบ่ง หรือรูปแบบมาตรฐานดั้งเดิมของคำ

จากมุมมองของฟังก์ชันแนวคิด ทั้งสองยังมีความแตกต่างที่ชัดเจน: Lemma เน้น "การลดรูป" ในระดับภาษา สอดคล้องกับการแสดงออกมาตรฐานหลังการเปลี่ยนแปลงรูปคำ ในขณะที่ Token เน้น "การแบ่งส่วน" ในกระบวนการคำนวณ สอดคล้องกับหน่วยที่ไม่ต่อเนื่องที่เล็กที่สุดเมื่อโมเดลประมวลผลข้อมูล ความแตกต่างระหว่าง "การลดรูป" และ "การแบ่งส่วน" นี้ สอดคล้องกับมิติที่แตกต่างกันระหว่างระดับความหมายและระดับสัญลักษณ์

ดังนั้น เมื่อศัพท์จำเป็นต้อง "ทำให้เป็นทั่วไป" เพื่อครอบคลุมแนวคิดที่มีอยู่หลายๆ แนวคิดพร้อมกัน ความหมายเดียวของมันจริงๆ แล้วได้เปลี่ยนเป็น "ความเป็นหนึ่งเดียวในระดับการอธิบาย" ไม่ใช่ "ความมั่นคงในระดับความหมาย"

เมื่อศัพท์จำเป็นต้องพึ่งพาคำอธิบายเพื่อรักษาความเป็นหนึ่งเดียว ความมั่นคงของมันในฐานะศัพท์มาตรฐาน มักจะเริ่มสั่นคลอนแล้ว

ในทางตรงกันข้าม "สัญลักษณ์หน่วย" ไม่มีความขัดแ