要点

• アップロードから1週間後に動画の上位20件に入っていたコメントのうち、84%は最初の24時間に投稿されていた。20日目でもまだ82%だ。
• ページは落ち着かない。4日目から21日目まで、12時間離れた2回の観測は上位10件のうち約9件を共有し、変化の大半は境目でのコメントの入れ替わりによる。15分後に取得し直したページは同一なので、動いているのは順位そのもので、APIではない。
• どの動画も2回目の観測をする前に、8つの予測を書き留めた。3つは当たり、3つは外れ、2つは一部の言語でだけ当たった。
• 英語、日本語、中国語の715万件のコメントでも、タイミングと動画の規模が、コメントの高評価の並びの86–95%を説明する。

8月、YouTubeのコメントの中になぜ高評価を多く集めるものがあるのかを調べ、答えはほぼタイミングだった。コメントがいつ投稿されたか、どれくらいの規模の動画に付いたかが、並びの83.5%を説明した。その研究は各動画のスナップショットを事後に1枚撮っただけなので、どのコメントが最終的に上位に来たかは言えても、どうやってそこに至ったかは何も言えなかった。

9月、順位ができあがる過程を観測した。

パネルの仕組み

新しい動画500本を登録し、3週間にわたって1日2回、各動画のコメントページの上位を読み取った。

	パネル
動画	500本、アップロードから30時間以内に登録
言語	英語167本、日本語167本、中国語166本
チャンネル	205、各チャンネル最大5本
スケジュール	1日2回、21日間
取得	「上位のコメント」ページ20,454件、各最大100件
集計対象	コメントが≥100件の動画（7日目に239本、20日目に250本）

ここでの中国語は、台湾、香港、海外のチャンネルを指す。取得のたびに、各コメントの順位、高評価数、投稿時刻を記録した。投稿者自身のコメントは通常ピン留めされるので除外した。各回では、直前に取得したページのうち20件も取得し直し、何も起きていないときにページがどれだけ変わるかを測った。

9月19日、どの動画も2回目の観測をする前に、外れとみなす数値を添えて8つの予測を書き留めた。その日の午後、主要評価時点を14日目から7日目に移し、14日目と20日目は副次評価時点として残した。計画は公開しており、日付付きの修正もすべて公開している。もう一つの研究では、3言語の715万件のコメントで8月のモデルを再実行した。

7日目時点での8つの結果は次のとおり。

予測	基準	7日目	判定
上位コメントは早く投稿される	24時間以内に≥70%、1時間以内に≥30%	84%, 34%	当たり
上位10件はすぐにロックインする	中央値≤72時間	76時間	外れ
順位が高評価を呼ぶ	上位10件内で≥3倍速い	1.85×	外れ
言語間でロックインは同程度	全体の値から24時間以内	はい	当たり
ショートはロックインが速い	≥24時間早い	16時間	外れ
露出が高評価を説明する	シェア≥70%	86–91%	当たり
大半のコメントは高評価ゼロ	75–90%がゼロ	44–79%	英語のみ
テキスト単独では弱い	AUCが0.60未満	0.582–0.602	中国語は除く

上位20件の大半は初日に投稿されていた

評価時点の上位20件を取り、各コメントがいつ投稿されたかを調べる。

上位20件の時点	1時間以内に投稿	6時間以内	24時間以内
7日目（239本）	34%	65%	84%
14日目（243）	35%	65%	83%
20日目（250）	33%	63%	82%

予測は24時間以内に70%以上、最初の1時間に30%以上で、どの評価時点でも当たった。7日目の上位20件のコメントの投稿時刻は、中央値で動画公開から2.4時間後。中国語のコメントは出だしが遅く、その日のうちに追いつく。

7日目の上位20件、投稿までの時間	1時間以内	24時間以内
英語	36%	84%
日本語	38%	85%
中国語	24%	83%

上位10件は21日目でもまだ変わっている

いちばん気にしていた予測が外れた。ロックインを、動画の上位10件と評価時点の上位10件とのJaccard係数が初めて0.8以上になる観測（10件中約9件が共通）と定義し、その中央値を72時間以下と予測していた。

比較の基準	ロックインの中央値	95%信頼区間	72時間以内にロックイン
7日目のページ	76時間	67〜93	48%
14日目のページ	146時間	117〜176	31%
20日目のページ	138時間	112〜176	34%

7日目はわずかな差で外れた。もっと後のページを基準にすると中央値は約6日に延び、14日目から20日目の間で伸びが止まる。線を越えた動画の多くはまた外へ漂い出る。20日目を基準にすると、中央値の動画が線の内側にとどまり続けるのは19日目からだ。

残る2つの予測は、どの動画が早くロックインするかについてのものだ。

ロックインの中央値	7日目	14日目	20日目
全動画	76時間	146時間	138時間
英語	82時間	146時間	116時間
日本語	69時間	165時間	189時間
中国語	80時間	129時間	151時間
ショート	64時間	123時間	97時間
通常動画	80時間	148時間	140時間

各言語は全体の中央値から1日以内に収まるはずで、20日目の日本語まではそうだった。ショートは少なくとも1日早くロックインするはずだった。計画が採点に使う7日目の評価時点では差は16時間（信頼区間は25時間遅いから39時間早いまで）で、この予測は外れた。14日目と20日目では差が1日を超えるが、どちらの区間もゼロをまたぐ。

それでも周りのページは動き続ける。

250本の動画。各点は連続する観測のペアを動画の経過時間ごとに平均したもの。公開から12時間未満の動画の18ペアは除外した。

その12時間刻みのうち約3分の1は、ロックインの閾値が許す以上に変化しており、その割合は3週目になっても下がらない。20日目のページを基準にすると、7日目の上位20件のJaccard係数は0.65で、20件中およそ16件にあたる。

その動きはほとんど積み重ならない。

250本の動画、4日目以降に取った観測のペア。

12時間刻みで上位10件から落ちたコメントは、中央値で13位に着地し、46%は次の2回の観測のうちに戻ってくる。ページは12時間ごとに境目のコメントを入れ替え、ページ全体が元の姿から離れていく速さはずっと遅い。

動きの大半は、古いコメント同士の入れ替わりだ。7日目、中央値の動画では72時間以降に6件のコメントが上位20件に入り、そのうち73%はそれより前に投稿されて順位を上げてきたものだった。20日目にはそれが動画あたり13件になり、分析対象のどの動画にも少なくとも1件ある。

遅い投稿が勝つこともあるが、まれだ。

最終的な上位3枠（482本の動画で1,338枠）	割合	動画
アップロードから1日以上後に投稿	15%	150
2日以上後	9%	104
1週間以上後	3%	34

AsmonTVのある動画では、公開から84時間後に投稿されたコメントが、最初は72位、高評価2件で観測され、12日目に1位に達し、最終的に467件の高評価を得た。

上位にいることの効果は思っていたより小さい

8月の記事はフィードバックループに頼っていた。順位が高いと見られ、見られると高評価され、高評価されると上位にとどまる。同じコメントが上位10件にいる間は、50位より下にいる間より少なくとも3倍速く高評価を得ると予測した。

そうはならなかった。両方の位置で観測された2,484件のコメントを示す。

コメントの位置	1時間あたりの高評価
上位10件内	0.54
50位より下	0.29
比（95%信頼区間0.96〜3.22）	1.85×

予測は3倍だった。基準には届かず、効果がまったくない可能性も排除できない。コメントごとの比の中央値は0.90で、移動したコメントの半数は、50位より下で高評価が増えなかったか、減っていた。平均を支えているのは一部のコメントだ。

8月の結果は3言語で成り立つ

大規模研究では、311チャンネルの715万件のコメントで8月のモデルを再実行した。各コメントの高評価は所属する動画の中で順位づけされ、露出（投稿時刻、動画の規模）、次に長さ、次にテキストから予測される。モデルは見たことのないチャンネルでテストし、チャンネルの分割を5通り変えた。露出シェアは、モデルの偶然を上回る予測力のうち、露出の特徴量だけでどれだけ届くかを表す。

言語	コメント数	動画あたりの中央値	露出シェア	テキストのAUC	高評価ゼロ
英語	5,421,217	798	86% (82–91)	0.588	78.5%
日本語	1,125,472	348	91% (87–94)	0.582	44.1%
中国語	606,043	299	90% (85–96)	0.602	67.1%

露出シェアは、5通りのチャンネル分割での範囲を含めて、8月の研究と同じMiniLM文エンコーダーを使うとどの言語でも70%の基準を超えた。代わりに単語のTF-IDFを使うと86–95%になる。これらはテキストモデルを別々に回したもので、両方を重ねた8月の83.5%とは厳密には一致しない。

テキスト単独のAUCは0.60未満にとどまるはずで（0.5が偶然の水準）、中国語はわずかに超えた。MiniLMは英語のモデルで、探索的な実行では文字レベルのモデルが中国語と日本語の両方でより高いスコアを出した。英語のエンコーダーは、この2言語でテキストが持つ情報を過小評価している。

高評価ゼロの割合は、どの言語でも8月の82%に近い75–90%になるはずだった。そこに収まったのは英語だけ。日本語と中国語の動画は規模もずっと小さく、研究は規模を統制していないので、この列には言語の差と規模の差が混ざっている。

ページを取得し直すと同じページが返る

上の変動の数字はすべて、何も変わっていなければAPIが同じページを返すことを前提にしている。10月22日、パネルを終えた250本の動画でそれを確かめた。各動画の上位ページを、通常の取得と、どのキャッシュとも一致しないようリクエストを変えた取得の両方で取り、後でもう一度取った。

同じページの2回の取得	動画	上位20件が同一
続けて、通常とキャッシュ回避	250	250
15分間隔	84	84
1時間間隔	83	81
2時間間隔	83	79

15分後の応答はほぼ毎回別のetagを持っていたので、YouTubeは保存済みのコピーを返したのではなく、毎回新しく組み立てていた。1時間後と2時間後にページが変わった場合も、同じ瞬間に取った通常のコピーとキャッシュ回避のコピーは互いに一致していたので、動いているのは順位で、APIではない。パネル自身の再取得も、中央値46秒間隔で一致していた（1,130ペア、上位10件のJaccard係数の中央値1.00）。それでも動画はもっと長い時間軸では動き続けていた。10日前の最後のパネルのページと比べると、上位10件のJaccard係数は0.75だった。

このテストには穴が2つある。公開から1か月たった動画で行ったので、パネル期間中より静かで、動画が盛り上がっている間にだけ出る揺らぎは排除できない。また、測っているのはAPIで、人が見るページではない。3日目に、パネルの動画5本をクリーンなウェブブラウザでログアウト状態のまま開き、6時間前のAPIのページと比べた。上位10件の一致は10件中10、5、7、8、8件で、それらの動画でのAPI自身の12時間の変動（7〜10）とほぼ同じだった。5本の動画を1回見ただけで、YouTubeがパーソナライズするかもしれないログイン時のページは測っていない。

チャンネルは、登録者30万〜1500万人でコメント欄を開いている定評あるクリエイターの便宜的サンプルだ。小規模チャンネルについては、ここから何も言えない。

まとめ

• 1枚のスナップショットは誰が勝ったかを示すが、レースが終わったかどうかは何も示さない。 8月の研究は落ち着いた上位20件を見ていた。それができあがる過程を見ると、顔ぶれの大半は初日に決まり、並び順は3週間動き続けていた。
• 安定性の数字は、何と比べるかで決まる。 ロックインは7日目のページを基準にすると3日、もっと後のページを基準にすると6日に見えた。何かが「いつまでに落ち着く」という主張には、評価時点を明記する必要がある。
• 誰もが前提にしている仕組みが、小さいとわかることもある。 順位が高評価を呼ぶというのは、上位コメントが上位にとどまる理由として真っ先に浮かぶ説明だ。直接測ると2倍未満で、ゼロの可能性もあった。結果は再現し、私が8月に示した説明は弱まった。
• データが入る前に予測を書き留める。 8つのうち3つが外れ、その外れこそが、この記事が8月の記事より多く知っていることの大半だ。日付入りの計画がなければ、どれも簡単に言い逃れできただろう。
• 変動を読む前に計測器をテストする。 ここでの変動の数字はすべて、APIが同じページを2回返すことを前提にしている。2時間のテストでそれに決着がつき、それがなければ主要な結果は「キャッシュのせいでは」という疑いに開かれたままだった。

コメントを見てもらいたいなら初日に、できれば最初の1時間に投稿すること。それでも、2日以上たってから投稿されたコメントが上位3件に入った動画は約5本に1本あった。

どちらのコーパスも8月のHugging Faceデータセットに入っている。パネルの146万行のページデータと、大規模研究の715万件のコメントで、投稿者IDはソルト付きハッシュに置き換えた。手法、すべての表、8つの予測は第2版になった論文にある。

データセットを入手 GitHubのコードと計画