日本語のオノマトペを埋め込みモデルに入力すると、音の形と意味の関係はどのように表現されるのでしょうか。ひとつのモデルで得られた結果だけを見ると、モデルが日本語の音象徴を捉えたようにも、単なるトークナイザーや文脈処理の癖のようにも見えます。そこで今回は、Qwen3で行った実験をEmbeddingGemmaで同じ条件のまま追試し、現象そのものと、その現れ方の違いを切り分けました。
何を追試したか
前回の実験で使った142項目を、そのままEmbeddingGemma（768次元）に入力しました。データは、単文字の清音・濁音11対、意味を持たない疑似語12基底に反復長などの条件を加えた項目、そして実在するオノマトペ12対で構成しています。Qwen3側の結果と比較することで、同じ設計が別の埋め込みモデルでも再現するかを確認しました。
ここでいう「整列」は、清音・濁音の差分ベクトルが、単文字の清濁差分から得た基準方向とどの程度同じ向きを持つかを測ったものです。単語の長さや反復を変えたとき、この方向への寄与がどう変わるかを比較しました。
主な結果
- 反復による希釈は両モデルで再現：疑似語の2拍から6拍への変化で、EmbeddingGemmaの整列低下は Δ=+0.0403、p=0.0032。12基底中11基底で同じ方向を示しました。Qwen3でも同様の低下が確認されています。
- ただし、濁音化を全反復へ広げたときの挙動は異なる：EmbeddingGemmaでは整列が +0.0725 / +0.0568 回復し、12基底すべてで回復しました（p=0.0002）。一方、Qwen3ではこの回復は有意ではありませんでした。
- 変換率との対応はEmbeddingGemmaで強かった：濁音化した文字の割合と整列度の相関は r=+0.957。文字変換の量に応じて形式的な成分が加算されるような挙動です。
- 実在オノマトペは疑似語より低く整列：EmbeddingGemmaでも差は Δ=−0.1221、p=0.00142となり、語彙としての意味や音象徴的な情報が、単純な形式効果に加わっている可能性を補強しました。
- モデル間で差分構造の共通性もあった：単文字の差分構造について、両モデル間の相関は r=+0.730でした。結果が完全にばらばらだったわけではありません。
一般化したものと、モデル固有だったもの
今回の追試から、まず「反復が長くなると、単文字レベルの清濁方向への整列が弱まる」という現象は、Qwen3だけのものではないと考えられます。意味を持たない疑似語でも再現したため、少なくとも語彙意味だけでは説明できません。
一方で、その弱まり方を生む機構は共通ではありませんでした。EmbeddingGemmaでは、反復される文字を一貫して濁音化すると、変換率にほぼ比例する形で整列が回復しました。Qwen3では、同じ操作をしても回復しません。前者は「形式成分が希釈され、同じ形式成分を増やすと戻る」加算的な説明に近く、後者は反復文脈の合成によって成分の意味づけ自体が変わる説明に近い、という違いです。
この違いが重要な理由
埋め込み研究では、あるモデルで統計的に有意な方向が見つかると、それを言語に内在する構造だと解釈したくなります。しかし、同じデータを別モデルに入れると、現象は再現しても機構が変わることがあります。今回の結果は、モデルの内部表現から音象徴を読むとき、効果の再現性と生成機構の再現性を分けて検証すべきだと示しています。
そのためには、実在語だけでなく意味を持たない疑似語を対照に置き、入力データ・評価指標・比較対象を固定したうえでモデルを替える必要があります。モデルを替えたとき結果が一致しなかった場合も、失敗ではありません。むしろ、どこまでがデータに由来し、どこからがモデルの文脈合成やトークン化に由来するのかを調べる手がかりになります。
限界と次の検証
今回の比較は二つの埋め込みモデルによるもので、結果だけから人間の音象徴認知を直接証明するものではありません。また、疑似語の設計、モデルの学習データ、トークナイザー、埋め込みAPIの実装差など、まだ分離できていない要因があります。p値は差が偶然だけでは説明しにくいことを示しますが、機構を証明するものではありません。
次は、濁音化する位置を語頭・語末・中間で分け、変換率との交互作用を調べる必要があります。さらに別の音韻変換を対照に加えれば、EmbeddingGemmaの加算的な挙動と、Qwen3の文脈依存的な挙動をより明確に切り分けられるはずです。
持ち帰り
- 単一モデルの結果を、そのまま言語の普遍的構造とみなさない。
- 意味を持たない疑似語を対照に置き、形式効果と語彙効果を分ける。
- モデル間比較では、結果の有無だけでなく、結果を生む機構の違いを見る。
- 統計的有意性と、機構についての因果的な説明を混同しない。
今回の実験で面白かったのは、二つのモデルが「同じ答え」を返したことではありません。似た現象を別々の仕方で表現していたことです。埋め込み空間は言語の意味を透明に写す鏡ではなく、モデルが学習した形式・語彙・文脈処理の癖が重なった地形です。その地形を読むには、ひとつの山を見つけるだけでなく、地図を替えたときにも残る稜線と、地図ごとに変わる陰影を見分ける必要があります。