埋め込みベクトルのコサイン類似度は、手軽に「意味の近さ」を測れる道具に見える。同じ語の別用法を並べた2つの文を作り、片方を長くしたら類似度が下がった——これを「文脈によって語義が分かれた」と読むのは、たぶん早い。
前回の追試では、まさにそこで止まった。短文同士では 0.640 あった同一オノマトペ・異用法の類似度が、長文にすると 0.341 まで落ちた。ところが同じ実験で、用法を表す裸語との類似度も一斉に低下していた。つまり「長くしたこと」と「語義が分かれたこと」が分離できていない。落ちたのは意味なのか、単に文が長くなったからなのか、それだけでは決められない。
今回はその交絡を切るための対照を置いた。前半の短文は1文字も変えず、後半に足す追記だけを差し替える。片方は用法と無関係な中立的な追記、もう片方は用法を補強する追記。文字数はほぼ揃える。使った語は 8 語、入力は 64 件、モデルは 4096 次元の埋め込みモデルだ。
対照の取り方
設計で気をつけたのは3点ある。
- 同じ中立文を両方の用法に足すと、字面が同じぶん類似度が人工的に上がる。そこで主比較は、中立追記を反対側に割り当てた A/B と B/A の平均を使う。中立追記は各用法に1種類ずつ、合計2種類を用意して、割り当てを入れ替える。
- 同じ中立追記を両側に足したパターン（A/A・B/B）も感度分析として残す。これは結果の解釈というより、字面の効果がどれくらい大きいかを測るための物差しになる。
- 文字数は統制した。中立追記の長文は 32〜36 字、用法補強の長文は 29〜35 字。語ごとの差は最大 3 字に収めた。ただしこれは文字数の統制であって、トークン数や語彙の統制ではない。
主指標は「中立 A/B・B/A の平均類似度 − 用法補強の類似度」とした。正の値が出れば、用法を補強する追記のほうが、文全体をより離すことになる。検定は語単位（8 語）で、256 通りの正確な符号反転検定と、20,000 回のブートストラップによる 95% パーセンタイル区間を用いた。どちらも探索的な位置づけだ。
結果
数字はこうなった。
- 短文同士（同一語・異用法）: 0.6404
- 中立的な追記を反対側に割り当てた長文（A/B・B/A）: 0.4695 — 短文から 0.1709 低下、8 語すべてで低下
- 用法を補強する追記同士: 0.4035
- 主指標（中立 A/B・B/A − 用法補強）: +0.0660、8 語中 7 語が正、正確符号反転検定 p = 0.0156、ブートストラップ 95% CI [+0.0368, +0.0947]
- 用法検索マージン（長文が同じ用法の短文にどれだけ近いか）: 中立 +0.2136 → 補強 +0.3279、改善 +0.1144（8/8 語、p = 0.0078、95% CI [+0.1030, +0.1278]）
つまり、ただ長くしただけでも 0.171 は離れる。そこに用法を意識した追記を足すと、さらに 0.066 離れる。用法の効果は確かに存在するが、長文化そのものの効果の 3 分の 1 程度でしかない。
そして一番効いたのは、追記の字面だった。同じ中立追記を両方の用法に足しただけで、異用法の長文同士の類似度は 0.8257 まで上がる。反対側に割り当てたときの 0.4695 と比べて +0.3562、8 語すべてで同じ方向だ。追記の文字列が同じというだけで、埋め込み空間ではそれだけ近くに見える。
語ごとの追加分離量は次のとおり。大半の語で方向は揃ったが、1 語だけ逆を向いた。
- がらがら +0.129
- めきめき +0.121
- ふわふわ +0.077
- ぴかぴか +0.072
- からから +0.065
- ぼんやり +0.036
- どきどき +0.033
- ざらざら −0.005
何が言えて、何が言えないか
言えるのは、文全体の内容に応じて埋め込みが反応しているということだ。中立な追記より、用法に即した追記のほうが、確かに文を離す。これは再現性のある観測で、短い文を長くしただけで類似度が動く現象に、用法由来の成分が上乗せされていることは示せた。
言えないのは、オノマトペ1語そのものの語義が分かれたということだ。文全体の埋め込みが離れたことと、対象語の意味表象が変わったことは別の命題である。今回の補強追記には、喉や音、客席や車輪といった独立したトピック語が入っている。語彙もトークン数も自然さも、中立追記とは一致していない。中立追記も 8 語で使い回しているので、統計検定が保証しているのは「この特定の追記の組で差が出た」ところまでだ。「新しい中立追記にも一般化できる」ことまでは言えない。
加えて、意味境界がもともと弱い語（ぼんやり、どきどき、ぴかぴか）では効果が小さく、唯一逆を向いた ざらざら は用法間の距離そのものが近かった。効果量の大小を語の性質として読むには、まだ材料が足りない。
埋め込みの差分を読む前に確認したい3つ
この実験から、類似度を使った比較一般に持ち帰れることが3つある。
- 長さを揃える。 比較する2つのテキストは、内容を変えずに長さだけを近づけた対照を用意する。今回、長さを揃えただけで 0.171 動いた。
- 字面の重複を統制する。 共通の文字列を入れると、埋め込みは意味の差よりも表層の一致に引っ張られる。同じ追記で 0.826、別の追記で 0.470——その差 0.356 は、意味の差ではなく字面の差だ。
- 対照条件を入れ替えて確かめる。 主比較に使う条件は、対象の両側に等しく割り当てて平均を取る。片側にだけ特定の追記を置くと、その追記の性質が結論に混ざる。
逆に言えば、これらを確認せずに「類似度が下がったので意味が分かれた」と書くと、字面と文長の効果を意味の効果として報告してしまう。エラーは出ないし、数字はきれいに出る。静かに間違うタイプの失敗である。
次の追試
残っている交絡ははっきりしている。独立した複数の中立追記を用意すること。用法と無関係だが同じトピック語を含む追記を用意して、トピックの効果と用法の効果を切り分けること。そしてオノマトペを除いた同型の文で同じ比較を行い、対象語を抜いても同じ分離が出るかどうかを見ること。ここまでやって初めて、対象語の寄与を語れるようになる。
今回の追試は「効果を大きくする」方向ではなく「効果のうち何が本物かを削る」方向の作業だった。削った結果、用法の寄与は +0.066 まで小さくなり、残りの大部分は字面と長さに帰属された。地味だが、この削り方が無いまま積み上げた結論は、あとで全部崩れる。
使用モデル: Qwen3-Embedding-8B（4096次元、4bit量子化、ローカル推論）。入力 64 件、対象 8 語、群 8。主指標は対応のある差として符号反転検定と語単位ブートストラップで評価（いずれも探索的）。