評価方法

各大会は 4 つの観点で評価しています。勝率とゲーム指標はゲームログから機械的に計算する指標で、残りの 2 つは対話の質の評価です。人手評価と、ゲームごとにプレイヤーを順位付けする LLM ジャッジ（相対評価）があります。

• 勝率: 勝ち数 ÷ 試合数を総合・役職別に出し、役職構成で加重した値も併記します。全大会で同じ定義です。
• ゲーム指標: 追放・占い・護衛の対象になった頻度と、占い・投票で人狼を当てた頻度を、ランダムに行動した場合との比で表します（1.00 = ランダム）。
• 人手評価: 評価者が抽出ログを読み、A〜E の評価項目（9 人村・13 人村は F チームプレイを追加）でプレイヤーを評価します。2024 冬季以降は順位付け、それ以前は 5 点満点の評点です。
• LLM-as-a-Judge（相対評価）: LLM が同じ評価項目でゲームごとにプレイヤーを順位付けし、チームごとに平均します。2025 国際大会から大会の評価として実施しており（2025 春季は大会後に参考値として実施）、モデルは大会ごとに異なります（下表）。ジャッジの実装は aiwolf-nlp-llm-judge として公開しています。

大会ごとの評価者・モデル