「タグ探索マップ」が、どうやって関連タグを集めて共起ネットワーク図を作っているのか、 その裏側をなるべく分かりやすく説明します。ニコニコ動画の検索APIに負荷をかけすぎないよう、 どんな工夫をしているのかも合わせて紹介します。
中心タグ(+ANDタグ・ORタグなどの条件)で検索したとき、該当する動画が全部で何件あるかを、 最初に1回だけ問い合わせています。まだ動画そのものは取得せず、件数だけを確認する軽い問い合わせです。
該当件数が一定の範囲(後述する上限)に収まる場合は、ランダムに間引いたりせず、 100件ずつページをめくるようにして全件を取得します。マイナーなタグほど、 このパターンに当てはまりやすく、集計結果の精度も高くなります。
該当件数が上限を超える人気タグの場合、全件を取得するのは通信量的に現実的ではありません。 そこで、取得位置をランダムに選び、上限の範囲内でできるだけ多くのサンプルを集める方式に切り替えています。 サンプルではありますが、母集団からまんべんなく抜き取ることで、 全体の傾向をできるだけ反映できるようにしています。
ニコニコの検索APIは、該当する動画を再生数の多い順に並べて返してくれます。もし単純に 「先頭から4,800件だけ」取っていたら、再生数上位の動画に付いているタグばかりが集計され、 「再生数が低いけれど実は多く使われているタグ」が反映されなくなってしまいます。
そこでこのツールでは、再生数の多い順に並んでいるため上位の動画ばかりに偏らないように、 該当件数の範囲内(最大10万件まで)で、ランダムな開始位置(オフセット)を48個選びます。 その48個の位置それぞれから100件ずつを取得し、結果として、再生数の多い動画から少ない動画まで、 母集団のあちこちからバラバラに100件×48回=最大4,800件を拾い集めることになります。
ランダムな位置から満遍なく抜き取ることで、人気・不人気を問わずタグの使われ方の全体像に 近い集計ができる、という狙いです。
取得できた動画それぞれに付いているタグを見て、「どのタグが何回出てきたか」「どのタグとどのタグが 同じ動画に一緒に付いていたか(共起)」を数えていきます。表記ゆれ(大文字・小文字など)は 同じタグとしてまとめて集計し、代表の表記は一番よく使われていたものを採用しています。
集計した中から出現回数の多い上位タグだけをノード(円)として選び、その間の共起関係を線として 結んだものが、共起ネットワーク図です。円の大きさや線の太さは出現回数・共起回数に応じて 変化するようになっています。
ニコニコ動画の検索API(スナップショット検索API)は、公式のガイドで次のように案内されています。
本APIは、解析を目的とした負荷の高い利用法が想定されているため、同時接続数の制限、 および同一ユーザーによる過度な利用に制限などの利用制限を設けております。 制限を超えてAPIリクエストを行った場合、正常に検索結果が返されません。
つまり、あまりに大量・高頻度にリクエストを送ると、ニコニコ側の判断で結果が正常に 返ってこなくなる可能性があります。具体的な制限の数値は公開されていませんが、 このツールでは公式ガイドの案内(前回のレスポンス時間と同じだけ間隔を空ける)を参考にしつつ、 1回のタグ探索あたりに送るリクエストの回数そのものにも上限を設けることで、 できるだけ負荷をかけすぎない範囲で運用しています。
この上限があることで、非常に人気のあるタグでは全件を網羅できず、一部のサンプルからの 推定になる場合があります。網羅性と、ニコニコのサーバーへの配慮とのバランスを取った結果の 仕様として、ご理解いただけると幸いです。