埋め込みベクトルで複数の語に共通する方向が見つかると、つい「意味の軸」を発見したくなる。けれど、その方向は意味だけでできているとは限らない。日本語オノマトペの清音→濁音の差分を調べる今回の実験では、単文字レベルの清濁という、もっと形式的なベースラインを差し引いて確かめた。
結論を先に言えば、形式成分を除けば既知の意味ラベルで説明しやすくなる、という予測は外れた。この「外れ方」こそ、埋め込み分析で安易な意味づけを避けるための、かなり有用な結果だった。
問い：共有された方向は、本当に意味なのか
これまで、反復オノマトペ12対と一般語12対について、清音から濁音へ変えたときのベクトル差分を平均し、両カテゴリーに共通する方向を観察してきた。たとえば「からから→がらがら」のような対と、「こま→ごま」のような対で共有される方向である。
問題は、この共有方向が「軽い→重い」「整った→乱れた」といった語彙意味を表しているのか、それとも文字・音韻の清濁に応答するモデル内部の表現なのか、という点にある。両者が混じっていても、見かけ上はもっともらしい意味軸に見えてしまう。
方法：単文字の清濁を対照軸にする
Qwen3-Embedding-8Bで105項目を新規に埋め込み、実語24対の平均差分を普遍軸 U とした。別に、単文字の清音→濁音差分12サンプルの平均を M と置く。次に U から M 方向への射影を直交除去し、残差軸を作った。
大事なのは、目的となる普遍軸だけでなく、説明に使う7つの意味アンカー側からも同じ単文字軸を除いたことだ。片側だけを補正すると、形式成分が説明変数側に残り、「意味で説明できた」という見かけを過大評価しうる。軽↔重、小↔大、整↔乱、快↔苦、弱↔強、鋭↔鈍、高音↔低音の7軸を用い、実語対を2,000回再標本化して差の不確実性も見た。
結果1：単文字の成分は小さくなかった
普遍軸 U と単文字基準軸 M のコサイン類似度は +0.6636 だった。これは U の方向エネルギーの44.0%が単文字清濁方向にあることに相当する。24対をまたいで見えていた共有性のかなりの部分には、単なる偶然では片付けにくいサブ語彙的な清濁成分が含まれていた。
ただし、これを「トークナイザーの無意味な癖」と即断するのも早い。単文字まで遡る清濁知識がモデルに符号化され、それが語彙レベルの差分にも寄与している、という読み方のほうが現時点では慎重だろう。
結果2：除去後、意味による説明力はむしろ下がった
今回の仮説は、形式成分を取り除けば残差は既知の意味軸で説明しやすくなる、というものだった。しかし7意味軸での説明力は、除去前の R²=0.0700 から除去後の R²=0.0455 へ低下した。差の95%信頼区間は [-0.0352, -0.0030] で、ゼロをまたがない。
つまり、単文字清濁を差し引くと「隠れていた意味」が現れるのではなく、今回用意した意味アンカーで説明できる部分まで減った。この結果は、低いR²を単純に「形式ノイズが意味を隠しているから」と説明できないことを示す。
結果3：「普遍性」は大きく弱まった
オノマトペ側の平均差分と一般語側の平均差分のコサイン類似度は、補正前の +0.3551 から補正後には +0.0900 へ下がった。カテゴリーをまたいで同じ方向に見えた現象の多くは、単文字の清濁と結びつく成分に支えられていたことになる。
一方で、残差にはオノマトペに限って「整→乱」方向がやや残った。残差軸との整列はオノマトペ側で+0.2313、一般語側では-0.0118だった。これは普遍的な意味軸というより、オノマトペ固有の候補として扱うべき信号である。面白い残差を見つけたときほど、対象を広げる前にカテゴリー間の再現性を確認したい。
埋め込みを読むときの実務的な教訓
- 共有方向を見つけたら、まず意味以外の対立仮説を立てる。表記、長さ、形態、トークン境界、音韻は有力な候補になる。
- 対照軸を除去するなら、目的軸だけでなく説明軸側にも同じ処理を施し、補正の非対称性を避ける。
- 平均値だけで結論を出さず、再標本化や独立データで方向と効果量の安定性を見る。
- 「全体に共通」と「特定カテゴリーで残る」を分ける。後者は失敗ではなく、より狭い仮説への入口になる。
限界と次の一手
今回の検証は1モデル、実語24対、あらかじめ定めた7意味軸に限られる。残差に意味がないことを証明したわけではなく、今回のアンカーで十分に捉えられなかった非線形・文脈依存の意味成分もありうる。次は別アーキテクチャの埋め込みモデルで同じ設計を再現し、さらにオノマトペの「整→乱」残差を、音形を均衡化したデータで独立に検証する。
否定的な結果は、研究の棚に積む失敗ではない。どの説明を捨て、どの問いを細くするべきかを教えてくれる。埋め込みのベクトルに意味を読み込む前に、まずその意味が文字の影ではないかを確かめる。その一手を挟むだけで、見えてくる地図はずっと正確になる。