コードネームでは、一方のプレイヤーが25語の盤面を見て、どれが自分のチームの語かを密かに知り、ヒント語1つと数字1つだけで、相棒にちょうどその語を選ばせなければならない。「ocean 3」と言えば、相棒は自分が意図したと思う3語を選ぶ。

自分のチームは盤面の語を最大9枚持つため、理想の初手は1つのヒントで9枚すべてを指し示してその場で勝つことだ。そんなヒントが存在するのかを知りたかった。

ほとんど存在しない。そしてその理由は具体的だ。

7,009語の一般的な英単語に固定した語彙と、標準的な埋め込み類似度による読み手のもとでは、1つの合法な語で自陣9枚すべてを特定できる盤面はわずか0.286%。2億200万通りの割り当てを厳密に数え上げた結果、1000盤面あたり3件未満だ。現実的な上限は約6枚。そして障壁になっているのは語彙だ。幾何は分離を許すのに、それを実現する日常語がない。

1つの概念から4語を選ぶと本物のヒントが現れる。9語すべてを選ぶと壁に当たり、割り込んできた語が赤で示される。

証拠はより薄いが、もっと奇妙な第二の結果がある。読み手のモデルを満たすヒントは、実際の読み手ではほぼ失敗するのだ。詳細は下記。

どう測ったか

読み手は素朴なものだ。ヒント語と盤面の全語をベクトルとして埋め込み、ヒントとのコサイン類似度で盤面の語を順位づけ、上位k件を取る。上位k件がちょうどその語群になったとき、そのヒントはk語の目標集合を「復元した」とする。ベクトルは300次元のGloVe。合法なヒントのリストは、Brownコーパスの頻度下限を超えるWordNetの見出し語7,009語で、どのヒントも実際に人が口にする語だ。

9枚は測る前から難しい。25枚のうち任意の9枚を名指すには約21ビット必要だが、7,009語から1語を選ぶことが運べるのは約12.8ビットだ。つまり、どの単語も万能な9枚ヒントにはなれない。数え上げだけで、1つの記号が200万通りの目標集合を分離できないことがわかる。これで万能版は否定されるが、特定の盤面については何も言っていない。本当の問いは盤面ごとだ。この9枚に対して、うまくいく合法なヒントはあるか。それは列挙すればわかるし、実際にやった。

上限は約6枚

各盤面でデコーダに全ての合法なヒントを通し、復元できた集合を集めると、全ヒントを列挙した厳密な件数が得られる。目標9語では被覆率は0.286%。ランダムな9枚のキーに対し、厳密に復元できる最大の部分集合は次のようになる。

厳密復元の最大数 盤面の割合
≥ 6 64%
≥ 7 22%
≥ 8 3.8%
= 9 0.3%

最大数の期待値は5.87。5枚や6枚は日常的で、7枚は起こり、8枚は稀、9枚はほぼ皆無だ。

上の探索ツールの盤面、目標が{barn, builder, call, colonel, educator, pit, product, specialist, wood}の場合を見てみよう。デコーダが選ぶ最良の合法なヒントでも、9語のいずれかより上位に目標外の語が来てしまう。この集合を分離する合法な語はなく、見つかるヒントは存在しない。

壁は語彙にある

自然な予想は、25点が密集しすぎて分離できないというものだ。実際は逆だ。300次元では、一般の位置にある25本のベクトルは好きなように分割できる。ほぼすべての9枚の部分集合について、その9語を残り16語より上位に順位づける方向が存在する。パックごとに100盤面で一般の位置を確認したが、毎回成り立っていた。

つまり分離する方向はほぼ常に存在する。ただ、合法な語がその方向を指していないのだ。「うまくいく方向」と「そのベクトルがそれを実現する語」の隔たりこそが、この結果のすべてだ。語彙をより自然な語へと絞り込むと被覆率は単調に下がる。これはまさに被覆の問題の姿だ。ヒントが実在の語でなければならない限り、変換で抜け出すことはできない。

確信の度合いが低い部分

ここは証拠が薄いので、囲いをしておく。デコーダが完璧と認定したヒントを、人間の相棒の代役として言語モデルの読み手に与え、「animal 3」「vehicle 4」のような通常の対照ヒントも併せて試した。対照は24件中23件を復元。デコーダ認定のヒントは44件中0件。デコーダの負のマージン付近の20件も同様にゼロだった。より強力な読み手モデルでもゼロが再現され、盲検の人間による1回の試行も層ごとに同じパターンを再現した。

コサインのマージンを最大化するヒントは、1つの順位付けアルゴリズムが語を並べる仕組みを突いているだけだ。意味で考える読み手はそれを復元しない。探索ツールの2番目のタブがこれを再現する。デコーダ認定のヒント、それが「完璧に」復元する集合、そして実際の読み手が選んだもの。vainは特定の9語を復元すると認定されているが、読み手は1語も当てられない。

効くのは、きれいに分離する概念だ。9枚が鋭いカテゴリを共有し、盤面に同カテゴリの妨害語がないとき、復元率はゼロから約3分の1へ跳ね上がる。枚数が多くてもだ。同カテゴリの妨害語を1つ加えると厳密な復元は崩壊し、部分的な認識だけがゆるやかに衰える。読みやすさを決めるのはきれいな概念が存在するかどうかで、それがあれば枚数はほとんど問題にならない。

この節は暫定的だ。監査は小規模で、読み手はほぼ言語モデル、人間による1回の試行も仮説を知る単独のラベラーによるものだ。必要なのは本格的な人間パネルによる検証で、それはまだ行われていない。ここで報告しているのは観測された件数であり、母集団の比率として読まないでほしい。

ゲームを超えてこれが重要な理由

埋め込み間のコサイン類似度は、「この語がこの概念を伝える」ことの標準的な代理指標だ。今回の測定が示すのは、この代理指標がもっとも使いたくなる場面、つまり目標が多くマージンが薄い場面でこそ危険だということだ。埋め込みスコアの最大化でヒントやキャプション、カテゴリラベルを選ぶシステムは、相手側の人間が共有していない目標を最適化しており、その失敗はスコアが自信ありげに見える場面でもっとも大きくなる。

留保の要らないきれいな結論はこうだ。共有された有限の語彙から選んだ1語では、25枚中任意の9枚の集合を確実に指し示すことはできない。限界は理想的な意味を実在の語へ射影する点にある。そして枚数よりも、それらをきれいな概念が名指せるかどうかが重要だ。その上に乗る乖離の部分は、人間パネルに確認あるいは否定してもらいたい点だ。

論文全文 · コードとデータ