「トークン」から「符元」へ：Tokenの中国語名をめぐるAI基盤的認識論争

最近、全国科学技術用語審定委員会は、人工知能分野における「Token」の訳語として「詞元」を推奨し、社会に向けて試用を開始すると発表しました。その後、『人民日報』は記事『専門家が解説：tokenの中国語名がなぜ「詞元」と定められたのか』を掲載し、この命名について専門的な観点から体系的に説明しました。

記事では、「token」という言葉は古英語のtācenに由来し、「符号」や「標識」を意味すると述べられています。言語モデルにおいて、tokenはテキストが分割またはバイトレベルでエンコードされた後の最小の離散単位であり、単語、サブワード、接辞、文字など、さまざまな形態で表現されます。モデルはまさにtokenシーケンスのモデリングを通じて、一定の知的能力を発揮するのです。

この訳語は、専門家による論証体系において、単義性、科学性、簡潔性、調和性の原則に合致すると考えられており、現在の中国語の文脈でも一定の使用基盤があります。しかし、関連する解釈を読んだ後、私はこの命名の道筋について異なる理解を持つに至りました。

規範化の観点から見ると、この命名案は短期的には理解しやすく、伝播しやすいという利点があります。しかし、計算オントロジー、情報構造、マルチモーダル進化、および逆翻訳の一貫性といった次元から検討すると、その長期的な適合性はまださらなる検証を待つ必要があります。このような背景の中で、同様に注目に値する代替案である「符元」が、より強い構造的一貫性と文脈横断的な安定性を示し始めています。

一、定義のずれ：「起源」で「本質」を代替することはできない

記事の見解（中国科学院計算技術研究所研究員 陳熙霖氏）：人工知能におけるTokenの初期の役割は「言語の基本的な意味単位」であるため、「詞元」はその本質により合致する。

この判断は歴史的文脈では合理性がありますが、技術パラダイムが大きく飛躍している現在において、このような考え方は本質的に「学問的な刻舟求剣（状況の変化に気づかないこと）」です。

用語定義の論理レベルでは、「初期の応用シナリオ」と「構造的本質属性」を厳密に区別しなければなりません。

Tokenは確かに自然言語処理（NLP）に起源を持ちますが、AGIの進化の道筋において、それはすでに言語モデルの境界を突破し、テキスト、画像、音声、さらには物理的信号を統一して処理する基礎単位へと進化しています。現代の計算体系において、Tokenの真の構造的本体は「離散的な記号単位」であり、単一モダリティの言語単位ではありません。

もし「初期の役割」に基づいて命名するならば、コンピューター（Computer）は今でも「電子計算手」（初期に人間の計算員を代替した機能に由来）と呼ばれるべきであり、インターネット（Internet）は「冷戦軍用網」と呼ばれるべきでしょう。この命名ロジックの致命的な欠陥は、特定の歴史的瞬間における技術の「一時的な役割」しか見ず、時代を超えた「物理的本体」を見落としていることです。

歴史的な経路は本質的属性と同一ではありません。同様に、Tokenが最初に文字の処理に使われたからといって、それを永遠に「詞」という狭い文脈に閉じ込めてはなりません。

「初期の応用シナリオ」を用いて基礎概念を定義することは、本質的に歴史的な経路依存性で構造的本体の真実を代替することです。このような定義は技術の初期段階では理解の便宜を提供するかもしれませんが、マルチモーダルが爆発的に拡大するパラダイム拡張段階では、急速に陳腐化し、認知の妨げとなる枷となります。それに対して、「符元」はマルチモーダル計算の記号本体に直接対応し、定義するのはTokenの「過去」ではなく、Tokenの「真実」です。

二、類推の境界：説明が定義に変わると、ずれが始まる

記事の見解（清華大学計算機科学科 准教授 東昱暁氏）：「ワードクラウド」「バッグ・オブ・ワーズ」などの類推を通じて、マルチモーダルにおける離散単位を「広義の詞」と理解することができる。

東昱暁准教授の類推は理解に役立ちますが、定義を代替するものではありません。この考え方は説明のレベルでは一定の啓発性を持ちますが、さらに命名の根拠として昇格させると、概念レベルのカテゴリーのずれを引き起こす可能性があります。

方法論的に見ると、類推の役割は理解のハードルを下げることにあるのに対し、定義の責務は意味の境界を定めることにあります。「詞」が画像パッチ（patch）、音声フラグメント、ベクトル表現（embedding）、さらにはより広範な知覚信号をカバーするように拡張されるとき、その本来の言語属性は絶えず希薄化され、意味の境界は曖昧になりがちです。この「類推駆動」の拡張経路は、短期的には説明の一貫性を維持できますが、長期的な進化においては意味のドリフトを引き起こしやすいです。

マルチモーダル拡張能力においては、「類推」から「定義」への滑り込みに警戒する必要があります。用語審定の文脈では、「説明のためのメタファー」と「本体的定義」の境界を区別し、前者が後者を代替することを避けなければなりません。

より直観的な対照例は次の通りです：科学普及の文脈では、電球を「人造太陽」に例えて理解の直観性を高めることができます。しかし、科学命名体系において、電流の単位「アンペア」（Ampere）をこれに基づいて「光元」と改名することは不可能です。前者は記述的表現に属し、後者は厳格な度量体系と標準化された定義に関わるもので、両者を混同してはなりません。

同様に、「ワードクラウド」「バッグ・オブ・ワーズ」などの用語は本質的に記述的または統計的なメタファーであり、その機能はデータ構造や分布形態の理解を助けることにあります。一方、Tokenは大規模モデルにおける基礎的な計量単位として、計算リソース課金、モデル学習、学術的度量体系に深く組み込まれています。その使用規模が1日あたり数百億から数兆回の呼び出しに達するとき、その命名が担うのはもはや説明機能だけでなく、工学的・標準的意義を持つ基礎概念です。このレベルにおいて、用語はその本体的属性に対応する必要があり、類推の延長に依存すべきではありません。

もしこの類推ロジックをさらに命名のレベルにまで押し進めると、実際には危険な前提が潜んでいます：人々がすでに「詞」を使ってTokenを理解する習慣があるのだから、この類推を続けてもよいのではないか。しかし、これは実際には経路依存性の継続であり、既存の認知の便利さで概念本体の修正を代替しています。この意味において、この命名は「言語学上のロマン主義」に近く、計算本体への厳密な対応ではありません。

「馬力」に「馬」が含まれているからといって、電動機の中で「電子馬」を論じることを要求することはできません。類推は理解を啓発できますが、標準を定義することはできません。

それに対して、「符」はより中立的な概念として、自然にマルチモーダル適応能力を備えており、追加の説明を必要とせずにテキスト、画像、音声などの多様な情報形態をカバーできます。したがって、「記号単位」を中核とする命名経路は、定義のレベルにおいてTokenの構造的本質により近づきます。この論理の下では、「符元」は対応する訳語として、より高い概念的一貫性と長期的適合性を備えています。

三、認知の代償：意味のアンカーが体系的誤解を生むとき

記事の見解（専門家の意見を総合）：「詞元」は表現が簡潔で、中国語の習慣に合致し、伝播しやすい。

この判断は伝播のレベルでは一定の合理性がありますが、その暗黙の前提は、一般大衆が「詞」のマルチモーダル類推を受け入れられるということです。しかし、類推は本質的に専門家の思考ツールであり、一般大衆の自然な認知方法ではありません。一般ユーザーにとって、「詞」は非常に強い意味的アンカー効果を持っています。「詞」と聞けば、その直感的な指向は必然的に言語システムであり、画像、音声、動作などの他のモダリティではありません。この認知経路は技術的問題ではなく、認知心理学レベルの安定した構造です。

この基礎の上で、「詞」が「いわゆる広義の詞」に拡張されるとき、実際にはすでにユーザーの認知にバイアスを生み出しています。ユーザーが最初に形成するのは「詞＝言語単位」という直感的理解であり、「マルチモーダル記号単位」という抽象概念ではありません。いったんこの誤解が確立されると、その後のすべての説明は既存の認知の修正となり、自然な理解の延長ではなくなります。

例えば、メディアが「モデルは10兆の詞元を使用して学習した」と報道するとき、一般大衆はそれを「大量のテキストを読んだ」と容易に理解し、その中に含まれる大量の画像、音声、その他のモダリティデータを見落としがちです。この誤解は例外ではなく、用語自体の意味的アンカーによって生み出される体系的な誘発です。

実際の工学的文脈において、この命名は学際的なコミュニケーションの摩擦をもたらす可能性もあります。視覚モデルや音声モデルにおける離散単位が「詞」と呼ばれるとき、意味的誤解を引き起こしやすいだけでなく、異なる分野の間に不必要な言語的衝突を生み出します。マルチモーダルシステムが必要とするのは「記号層」の統一であり、言語カテゴリーの拡張ではありません。

それに対して、「符」はより抽象的な概念として、初期の理解ハードルはやや高いかもしれませんが、その意味的指向はより中立的であり、認知を事前に言語層に固定することはありません。長期的な使用においては、安定した統一的な認知フレームワークを構築するのに有利であり、全体の説明コストを低下させ、マルチモーダル統一により安定した認知基盤を提供します。

命名のコストは定義するときに発生するのではなく、修正するときに発生します。初期の命名が意味的アンカーを形成すると、その後の認知修復の代償は指数関数的に上昇します。

専門家は類推を通じて「詞」の境界を拡張できますが、一般大衆は類推で概念を理解しません。命名は専門家のためではなく、時代全体の認知システムに対して責任を負うものです。

四、単義性の幻想：一つの言葉が二つの体系を担おうとするとき

記事の見解（用語審定の原則）：「詞元」は単義性の原則に合致し、訳語の混乱を解決するのに役立つ。

用語の単義性に関しては、「一語二義」が引き起こす可能性のある体系的なリスクに特に注意する必要があります。科学用語審定において、「単義性」は基礎的な原則の一つです。ある用語が文脈や追加の説明に依存して初めて意味を区別できるのであれば、それは標準部品としての価値をすでに失っています。

しかし、現存する学術体系から見ると、この判断にはさらに議論の余地があります。「詞元」という言葉は言語学と自然言語処理（NLP）分野ですでに「名花有主（すでに所有者がいる）」であり、古典言語学において、長期間にわたって対応してきた英語概念はLemma、つまり語の規範的原形（例えば、is/am/areの詞元はbe）です。この用法は言語学とNLPの基礎教材および学術論文においてすでに安定したコンセンサスを形成しています。

このような背景の下で、もしTokenも「詞元」と訳すと、具体的な表現において意味的衝突が生じやすく、災害的な現場が発生する可能性があります。

例えば、「NLPにおける語形還元操作（lemmatize a token）」を記述するとき、中国語表現では「『詞元』を『詞元化』する」という構造が現れます。この表現は理解コストを増加させるだけでなく、学術執筆と情報検索に曖昧さを導入し、読者が「詞元」が分割された離散単位を指すのか、語の規範的原形を指すのかを区別しにくくします。

概念機能の観点から見ると、両者にも明確な区別があります：Lemmaは言語レベルにおける「還元」を強調し、語形変化後の規範的表現に対応します。一方、Tokenは計算過程における「分割」を強調し、モデルが情報を処理する際の最小離散単位に対応します。この「還元」と「分割」の差異は、まさに意味層と記号層という異なる次元に対応しています。

したがって、ある用語が「一般化」を通じて複数の既存概念を同時にカバーする必要があるとき、その単義性は実際には「意味レベルの安定」ではなく、「説明レベルの統一」へと転化しています。

ある用語が説明を通じて統一を維持する必要があるとき、その標準用語としての安定性は、すでに揺らぎ始めていることが多いのです。

それに対して、「符元」は現存する用語体系において意味的衝突が存在しません。一方で、それはTokenが離散記号としての本体的属性を保持しており、他方で、Lemmaの既存の訳語との重複を避けているため、意味の明確性と体系的一貫性の面でより高い安定性を示しています。

五、本体への回帰：Tokenの本質は「記号」であって、「詞」ではない

記事の見解（一般的な解釈）：Tokenは言語モデルにおいてテキストを処理するための最小単位である。

この表現は機能レベルでは成立しますが、依然として「どのように使用するか」のレベルに留まっており、計算理論におけるその本体的属性には触れていません。情報理論と計算理論の観点から見ると、計算システムが処理する基本対象は「詞」ではなく、「記号」（symbol）です。

この点は二つのレベルからさらに理解できます：

一方で、情報理論の視点では、情報の本質は不確実性の除去にあり、その度量単位はビット（bit）、その担い手は離散記号です。記号は意味内容を気にせず、確率分布と符号化構造とのみ関連します。

他方で、計算実装レベルでは、大規模モデルの基層は「字を識別」せず、その処理対象は離散的なインデックス表現（ID）です。このIDが漢字、画像パッチ、オーディオサンプルポイントのいずれに対応するかに関わらず、計算過程では統一された記号形式で演算に参加します。

この枠組みの下では、まさにその本質が「記号層」にあり、「意味層」にないからです。記号自体は意味を担わず、符号化と計算の基本キャリアとして存在します。

Tokenを「詞元」と命名することは、ある程度、言語意味層の暗黙の指向を導入し、本来記号層にあるこの概念を言語中心の理解経路に引き戻してしまいます。この命名方法は説明レベルでは直観性を提供するかもしれませんが、理論レベルでは「記号計算」と「意味理解」の境界を曖昧