埋め込みモデルが日本語の音韻的な特徴をどのように表現しているかを調べていると、単語に含まれる特徴の「量」だけでなく、「どこに現れるか」が結果を左右することがある。今回は、反復する疑似語の一箇所だけを清音から濁音へ変換し、その位置を初頭・中間・末尾で操作した。Qwen3-Embedding-8B と EmbeddingGemma を同じデータで比較し、濁音の位置効果と変換率効果を分離する実験である。
先行実験から生まれた二つの仮説
先行実験では、疑似語を 2・4・6 モーラ相当の反復列に伸ばすと、単文字の清濁差分との整列が希釈される現象が見られた。ただし、濁音をすべての反復に入れたときの回復の仕方がモデルによって異なっていた。
- 濃度モデル：濁音の寄与が全体の文字数で希釈される。変換位置は大きな要因にならない。
- 変性モデル：反復列を文脈として合成する過程で、単文字の清濁方向そのものが変化する。位置によって寄与が変わる可能性がある。
ここで重要なのは、変換率だけを変えた比較では、位置効果と長さ効果が混ざってしまうことだ。そこで今回は、同じ文字長・同じ変換数のまま、濁音を置く位置だけを動かした。
実験設計
12 個の疑似語基底に対して、次の 7 条件を作成した。各モデルには同一の 142 ユニーク項目を入力し、単文字の清濁差分との leave-one-consonant-out（LOO）整列を指標とした。統計検定は 12 基底の対応比較で、正確符号検定を用いた。
- 2m_pos1：2 モーラ、初頭だけを濁化（変換率 1/1）
- 4m_pos1 / 4m_pos2：4 モーラ、初頭または中間だけを濁化（1/2）
- 6m_pos1 / 6m_pos2 / 6m_pos3：6 モーラ、初頭・中間・末尾のいずれかだけを濁化（1/3）
- 6m_all：6 モーラの全反復を濁化（3/3）
結果：Qwen3 には初頭優位が現れた
Qwen3 では、濁音を初頭に置いたときの整列が、中間や末尾に置いたときより一貫して高かった。
| 条件 | 変換率 | Qwen3 | Gemma |
|---|---|---|---|
| 2m_pos1 | 1.00 | +0.2542 | +0.1733 |
| 4m_pos1 | 0.50 | +0.2158 | +0.1389 |
| 4m_pos2 | 0.50 | +0.1286 | +0.1894 |
| 6m_pos1 | 0.33 | +0.2040 | +0.1330 |
| 6m_pos2 | 0.33 | +0.1048 | +0.1381 |
| 6m_pos3 | 0.33 | +0.1188 | +0.1227 |
| 6m_all | 1.00 | +0.2061 | +0.1898 |
4 モーラの初頭対中間では、Qwen3 の差は +0.0872 で、12 基底すべてが初頭優位だった（片側 p = 0.0005）。6 モーラでも、初頭と中間・末尾の平均の差は +0.0922、初頭優位は 11/12 基底（片側 p = 0.0032）だった。一方、Gemma では同じ比較に有意な位置効果は見られなかった。
変換率だけでは説明できなかった
先行実験では、Gemma の整列が変換率にほぼ線形に見えた。しかし、今回の 7 条件を使って再計算すると、相関は Gemma が r = +0.749、Qwen3 が r = +0.678 で、モデル差は明確ではなかった。先行実験の r = +0.957 は、変換率と文字長が交絡した条件セットによる見かけの線形性だったと考えられる。
ただし、モデルの応答が同じになったわけではない。6m_pos1 と 6m_all の比較では、Gemma は全反復を濁化すると +0.0568 回復したのに対し、Qwen3 の差は +0.0021 で有意ではなかった。つまり、変換率を統制しただけではなく、同一長の中で位置を操作して初めて、両モデルの違いが見えやすくなった。
解釈：Qwen3 の文脈合成は前方依存かもしれない
Qwen3 では、初頭の清濁シグナルは後続の反復が増えても比較的保存された。2 モーラから 4・6 モーラへ延長したとき、初頭条件は単文字整列の 86%・80% を保持した。一方、中間・末尾のシグナルは 41〜51% 程度まで低下した。
この結果は、Qwen3 の文脈合成が単純な「特徴の平均」ではなく、前から後ろへ進む方向特異的な過程を持つ可能性を示す。初頭の濁音は後続文脈の中でも軸を保つが、先行文脈の後ろに置かれた濁音は、反復全体の表現へ取り込まれる際に別の方向へ変性する、という描像である。
実務上の含意と限界
音韻的な差分を埋め込みで分析する場合、語に含まれる濁音の数だけでなく、濁音の位置分布を統制変数として記録すべきだ。実際のオノマトペのように初頭濁音へ偏りやすい語彙を比較すると、位置効果を語彙の意味効果と誤認する可能性がある。少なくとも今回の Qwen3 では、位置を揃えない比較は危険である。
ただし、今回の実験だけで「Qwen3 は必ず左から右へ処理する」と断定はできない。使った疑似語基底や音素系列は限定されており、前方優位がトークン順の合成バイアスなのか、pooling や位置重みの効果なのかも分離できていない。次の課題は、実オノマトペで位置分布を均衡化した再解析と、モデル内部の注意パターンなどを調べることだ。
今回の教訓は、モデルの比較では「どの特徴を入れたか」だけでなく、「同じ特徴をどの位置に入れたか」まで実験計画に含める必要がある、ということである。交絡を一つ外すだけで、モデルの性質についての説明はかなり変わる。