要点

  • コードネームでは、自陣の9枚すべてを指す1語のヒントが存在する盤面はわずか0.286%。期待できるのは6枚程度まで。
  • 限界は語彙にある。300次元では自陣の9枚を分離する方向が必ず存在するが、ヒントリストの一般的な7,009語のどれもその方向を向いていない。
  • 埋め込みデコーダが完全と認定したヒントは、言語モデルの受け手に対して44セット中0セットしか復元できず、単純なカテゴリのヒントは24セット中23セットを復元した。この部分は暫定的な結果である。
  • 埋め込みの類似度は、人間が何を理解するかの代用として不十分であり、対象が多く余裕が薄いときに最も外れる。

コードネームでは、ある一人のプレイヤーが25語の盤面を見て、どれが自分のチームのものかを密かに知っており、1語のヒントと数字だけで相棒にちょうどそれらを選ばせなければならない。「ocean 3」と言えば、相棒は自分が意図されたと思う3語を選ぶ。

自チームが持つ語は最大で盤面の9語なので、理想の初手は9枚すべてを指す1つのヒントでその場で勝つことだ。そんなヒントが存在するのか知りたかった。

ほとんどの場合は存在しない。そしてその理由は具体的だ。

一般的な英単語7,009語という固定語彙と、標準的な埋め込み類似度による受け手を前提とすると、1語の合法なヒントで自陣の9枚すべてを特定できる盤面はわずか0.286%。2億200万通りの割り当てを厳密に数え上げた結果、千に3つ未満だ。現実的な上限は6枚程度。そしてそれを妨げているのは語彙である。幾何は分離を許すのに、それを実現する一般的な語が存在しない。

1つの概念から4語を選ぶと実際のヒントが現れる。9語すべてを選ぶと壁に当たり、割り込んだ語が赤で示される。

より薄い証拠に基づく、もっと奇妙な第二の結果もある。受け手の条件を満たすヒントは、実際の受け手にはほぼ通じないのだ。詳しくは後述する。

測り方

受け手は自明なものだ。ヒントと盤面の各語をベクトルに埋め込み、ヒントとのコサイン類似度で盤面の語を順位付けし、上位 k 語を取る。上位 k 語がちょうど対象語と一致したとき、そのヒントは k 語の対象集合を「復元」したとする。ベクトルは300次元のGloVe、合法なヒントリストはBrownコーパスの頻度下限を超えるWordNetの見出し語7,009語なので、どのヒントも誰かが実際に口にする語である。

9枚は何も測る前から難しい。25枚のうち任意の9枚を名指すには約21ビットが必要で、7,009語のうち1語が運ぶのは約12.8ビットだ。したがって万能の9枚ヒントとなる単語は存在しえない。数え上げだけで、1つの記号が200万通りの対象集合を区別できないとわかる。これで万能版は消えるが、特定の盤面については何も言っていない。本当の問いは盤面ごとの話だ。この9枚について、うまくいく合法なヒントはあるか。これは数え上げればわかるので、そうした。

上限は6枚程度

各盤面でデコーダにすべての合法なヒントを通し、復元できた集合を集めれば、すべてのヒントを数え上げた厳密な値が出る。対象9語では被覆率は0.286%。ランダムな9枚のキーに対して、厳密に復元できる最大の部分集合はこうなる。

厳密復元の最大枚数 盤面の割合
≥ 6 64%
≥ 7 22%
≥ 8 3.8%
= 9 0.3%

最大枚数の期待値は5.87。5枚か6枚は日常的、7枚は起こりうる、8枚はまれ、9枚はほぼ皆無だ。

上の局面ブラウザの盤面、対象が {barn, builder, call, colonel, educator, pit, product, specialist, wood} の場合を見てほしい。デコーダの最良の合法ヒントでも、9語のいずれかより上位に対象外の語が来てしまう。この集合を分離する合法な語は存在せず、見つけるべきヒントがないのだ。

壁は語の側にある

自然な推測は、25点が密集しすぎて分離できないというものだ。しかし実際は逆である。300次元では、一般の位置にある25本のベクトルは好きなように分割できる。ほぼすべての9枚の部分集合について、その9語を残り16語より上位に並べる方向が存在する。パックごとに100盤面で一般の位置を確認したが、毎回成り立った。

つまり分離する方向はほぼ必ず存在する。合法な語がその方向を向いていないだけだ。「うまくいく方向」と「そのベクトルを実現する語」の隔たりが、この結果のすべてである。語彙をより自然な語へ絞っていくと被覆率は単調に下がり、これはまさに被覆の問題の形をしている。ヒントが実在する語でなければならない限り、変換で逃げることはできない。

確信の薄い部分

ここは証拠が薄いので、囲いを設けておく。デコーダが完全と認定したヒントを取り出し、人間の相棒の代役として言語モデルの受け手に与え、「animal 3」「vehicle 4」のような通常の対照ヒントも併せて与えた。対照ヒントは24件中23件を復元した。デコーダ認定のヒントは44件中0件。デコーダのマージンが負の側の20件も同じくゼロだった。より強い受け手モデルでもゼロは再現され、盲検での人間による1回の試行でも層ごとに同じパターンが再現された。

コサインのマージンを最大化するヒントは、ある一つの順位付けアルゴリズムが語をどう並べるかを突いているだけだ。意味に基づいて働く受け手はそれを復元しない。局面ブラウザの2番目のタブがこれを再現する。デコーダ認定のヒント、それが「完全に」復元する集合、そして実際の受け手が選んだもの。vain は特定の9語を復元すると認定されているが、受け手は1つも当てられない。

実際に通じるのは、きれいに分離する概念だ。9枚が鋭いカテゴリを共有し、盤面に同カテゴリの紛れがないとき、復元率はゼロから約3分の1に跳ね上がる。枚数が多くてもそうだ。同カテゴリの紛れを1つ加えると厳密な復元は崩れ、部分的な認識はゆるやかに衰える。読み取りやすさを決めるのはきれいな概念が存在するかどうかであり、一度それがあれば枚数はほとんど関係しない。

この節は暫定的だ。小規模な監査であり、受け手はほぼ言語モデル、人間による1回の試行も仮説を知る単一のラベラーによるものだ。本当に必要な検証は人間のパネルであり、それはまだ行われていない。ここで報告しているのは観測された件数であって、母集団の比率として読まないでほしい。

ゲームを超えて意味を持つ理由

埋め込み間のコサイン類似度は、「この語がこの概念を伝える」ことの標準的な代用指標だ。今回の計測は、その代用指標が最も使いたくなる場面、つまり対象が多くマージンが薄い場面でこそ危ういと言っている。埋め込みスコアの最大化でヒントやキャプション、カテゴリラベルを選ぶシステムは、向こう側の人間が共有していない目標を最適化しており、しかもスコアが自信ありげに見えるところで失敗が最大になる。

留保なしに言える部分はこうだ。共有された有限の語彙からの1語では、25枚のうち任意の9枚の集合を確実に指し示せない。限界は、理想的な意味を実在する語へ射影するところにある。そして枚数よりも、それらをきれいな概念が名指せるかどうかが重要だ。その上に乗る乖離の結果は、人間のパネルに確認あるいは反証してもらいたい部分である。

論文全文 · コードとデータ