2024 国際大会(INLG 2024)

この大会のページを開く →

公式結果(表彰)

賞チーム
主観評価総合賞(日本語トラック)・スポンサー賞kanolab
主観評価総合賞(英語トラック)UEC-IL
勝率・ゲーム行動優秀賞sUper_IL
審査員特別賞「初心者プレイっぽい賞」HondaNLP (鳥海審査員)
審査員特別賞「人狼での説得賞」sUper_IL (原田審査員)

結果発表・表彰は AIWolfDial 2024 ワークショップ(2024年9月24日、INLG 2024、東京)で行いました。

勝率

本戦で正常に終了した全ゲームのログから集計しています。「総合」は勝ち数 ÷ 試合数、役職別の欄はその役職で戦ったときの勝率と(勝ち数 / 試合数)です。「構成加重」は役職別勝率を村の役職構成で平均し直した値で、配役の偏りを打ち消した勝率です。

英語 5人村 (58 試合)

#チーム試合総合村人占い師狂人人狼構成加重
1sUper_IL5855.2%50.0% (10/20)61.5% (8/13)50.0% (7/14)63.6% (7/11)55.0%
2kanolab5853.4%56.5% (13/23)42.9% (3/7)61.5% (8/13)46.7% (7/15)52.8%
3satozaki5851.7%47.8% (11/23)57.1% (8/14)45.5% (5/11)60.0% (6/10)51.6%
4UEC-IL5851.7%52.4% (11/21)50.0% (6/12)50.0% (6/12)53.8% (7/13)51.7%
5yuricat5837.9%44.8% (13/29)33.3% (4/12)37.5% (3/8)22.2% (2/9)36.5%

日本語 5人村 (64 試合)

#チーム試合総合村人占い師狂人人狼構成加重
1sUper_IL4062.5%62.5% (10/16)50.0% (4/8)50.0% (4/8)87.5% (7/8)62.5%
2satozaki4060.0%37.5% (6/16)75.0% (6/8)75.0% (6/8)75.0% (6/8)60.0%
3UEC-IL4052.5%50.0% (8/16)37.5% (3/8)62.5% (5/8)62.5% (5/8)52.5%
4HondaNLP4052.5%50.0% (8/16)50.0% (4/8)75.0% (6/8)37.5% (3/8)52.5%
5kanolab4047.5%50.0% (8/16)25.0% (2/8)50.0% (4/8)62.5% (5/8)47.5%
6GPTaku4045.0%43.8% (7/16)37.5% (3/8)50.0% (4/8)50.0% (4/8)45.0%
7IS_Lab4037.5%37.5% (6/16)37.5% (3/8)25.0% (2/8)50.0% (4/8)37.5%
8yuricat4035.0%31.2% (5/16)50.0% (4/8)50.0% (4/8)12.5% (1/8)35.0%

ゲーム指標

ゲームログから機械的に計算した振る舞いの指標で、対話品質とは独立です。各値はランダムに行動した場合との比(1.00 = ランダム)です。「追放されやすさ」「占われやすさ」「守られやすさ」は他のプレイヤーから狙われた頻度の比で、追放・占いは低いほど疑われにくかったことを示します。「占い精度」「投票精度」は人狼を当てた頻度の比で、高いほど良い値です。「狂人の人狼回避」は狂人のときに人狼以外へ投票した割合です。

英語 5人村

チーム追放されやすさ占われやすさ占い精度投票精度狂人の人狼回避
sUper_IL0.671.141.441.050.67
kanolab1.171.202.481.360.80
satozaki1.050.910.911.120.69
UEC-IL0.900.800.750.960.88
yuricat1.250.950.801.100.44

日本語 5人村

チーム追放されやすさ占われやすさ占い精度投票精度狂人の人狼回避
sUper_IL0.341.460.551.100.69
satozaki1.060.700.670.800.73
UEC-IL0.930.870.900.950.91
HondaNLP0.951.171.501.180.75
kanolab1.020.751.121.080.67
GPTaku1.580.750.860.820.56
IS_Lab0.910.791.001.150.90
yuricat1.321.680.670.920.80

人手評価(相対評価)

評価者が抽出した対戦ログを読み、ゲームごとにプレイヤーを評価項目別に評価した結果をチームごとに平均したものです。2024 冬季以降は順位付け(順位平均、低いほど良い)、2024 春季と 2024 国際大会は 5 点満点の評点(高いほど良い)です。13 人村ではエントリ(チーム-A、チーム-B など)ごとに評価しています。

英語 5人村

審査員 3 名の 5 段階評価(AIWolfDial 2024 概要論文 Table 2) 5 点満点の評点(高いほど良い)。

#チーム発話表現の自然さ文脈を踏まえた対話一貫性・論理行動整合キャラクター性総合
1UEC-IL4.334.674.004.674.334.40
2sUper_IL4.004.004.004.674.004.13
3satozaki3.333.673.673.673.003.47
4kanolab2.673.333.003.333.673.20
5Mille1.672.001.002.001.671.67

日本語 5人村

審査員 4 名の 5 段階評価(AIWolfDial 2024 概要論文 Table 1) 5 点満点の評点(高いほど良い)。

#チーム発話表現の自然さ文脈を踏まえた対話一貫性・論理行動整合キャラクター性総合
1kanolab4.333.674.003.673.673.87
2UEC-IL3.673.673.673.673.673.67
3HondaNLP4.003.004.003.333.673.60
4IS_Lab4.003.672.673.004.333.53
5sUper_IL3.673.673.674.002.673.53
6GPTaku3.333.672.673.002.673.07
7satozaki3.672.672.674.002.333.07
8Mille2.333.002.002.332.002.33

LLM-as-a-Judge(相対評価)

LLM ジャッジがゲームごとにプレイヤーを評価項目別に順位付けし、チームごとに平均したものです(低いほど良い)。使用したモデルは大会ごとに異なり、各トラックの表の上に記載しています。ジャッジの実装は aiwolf-nlp-llm-judge として公開しています。

この大会では LLM-as-a-Judge による相対評価を実施していません(2025 国際大会から実施)。

対戦ログ

本戦の対戦ログを公開しています。正常に終了したゲームのみを掲載しています。

トラック試合ログ
英語 5人村58ログ一覧
日本語 5人村64ログ一覧

公式結果(表彰)

賞チーム
主観評価総合賞(日本語トラック)・スポンサー賞kanolab
主観評価総合賞(英語トラック)UEC-IL
勝率・ゲーム行動優秀賞sUper_IL
審査員特別賞「初心者プレイっぽい賞」HondaNLP (鳥海審査員)
審査員特別賞「人狼での説得賞」sUper_IL (原田審査員)

結果発表・表彰は AIWolfDial 2024 ワークショップ(2024年9月24日、INLG 2024、東京)で行いました。

勝率

本戦で正常に終了した全ゲームのログから集計しています。「総合」は勝ち数 ÷ 試合数、役職別の欄はその役職で戦ったときの勝率と(勝ち数 / 試合数)です。「構成加重」は役職別勝率を村の役職構成で平均し直した値で、配役の偏りを打ち消した勝率です。

英語 5人村 (58 試合)

#チーム試合総合村人占い師狂人人狼構成加重
1sUper_IL5855.2%50.0% (10/20)61.5% (8/13)50.0% (7/14)63.6% (7/11)55.0%
2kanolab5853.4%56.5% (13/23)42.9% (3/7)61.5% (8/13)46.7% (7/15)52.8%
3satozaki5851.7%47.8% (11/23)57.1% (8/14)45.5% (5/11)60.0% (6/10)51.6%
4UEC-IL5851.7%52.4% (11/21)50.0% (6/12)50.0% (6/12)53.8% (7/13)51.7%
5yuricat5837.9%44.8% (13/29)33.3% (4/12)37.5% (3/8)22.2% (2/9)36.5%

日本語 5人村 (64 試合)

#チーム試合総合村人占い師狂人人狼構成加重
1sUper_IL4062.5%62.5% (10/16)50.0% (4/8)50.0% (4/8)87.5% (7/8)62.5%
2satozaki4060.0%37.5% (6/16)75.0% (6/8)75.0% (6/8)75.0% (6/8)60.0%
3UEC-IL4052.5%50.0% (8/16)37.5% (3/8)62.5% (5/8)62.5% (5/8)52.5%
4HondaNLP4052.5%50.0% (8/16)50.0% (4/8)75.0% (6/8)37.5% (3/8)52.5%
5kanolab4047.5%50.0% (8/16)25.0% (2/8)50.0% (4/8)62.5% (5/8)47.5%
6GPTaku4045.0%43.8% (7/16)37.5% (3/8)50.0% (4/8)50.0% (4/8)45.0%
7IS_Lab4037.5%37.5% (6/16)37.5% (3/8)25.0% (2/8)50.0% (4/8)37.5%
8yuricat4035.0%31.2% (5/16)50.0% (4/8)50.0% (4/8)12.5% (1/8)35.0%

ゲーム指標

ゲームログから機械的に計算した振る舞いの指標で、対話品質とは独立です。各値はランダムに行動した場合との比(1.00 = ランダム)です。「追放されやすさ」「占われやすさ」「守られやすさ」は他のプレイヤーから狙われた頻度の比で、追放・占いは低いほど疑われにくかったことを示します。「占い精度」「投票精度」は人狼を当てた頻度の比で、高いほど良い値です。「狂人の人狼回避」は狂人のときに人狼以外へ投票した割合です。

英語 5人村

チーム追放されやすさ占われやすさ占い精度投票精度狂人の人狼回避
sUper_IL0.671.141.441.050.67
kanolab1.171.202.481.360.80
satozaki1.050.910.911.120.69
UEC-IL0.900.800.750.960.88
yuricat1.250.950.801.100.44

日本語 5人村

チーム追放されやすさ占われやすさ占い精度投票精度狂人の人狼回避
sUper_IL0.341.460.551.100.69
satozaki1.060.700.670.800.73
UEC-IL0.930.870.900.950.91
HondaNLP0.951.171.501.180.75
kanolab1.020.751.121.080.67
GPTaku1.580.750.860.820.56
IS_Lab0.910.791.001.150.90
yuricat1.321.680.670.920.80

人手評価(相対評価)

評価者が抽出した対戦ログを読み、ゲームごとにプレイヤーを評価項目別に評価した結果をチームごとに平均したものです。2024 冬季以降は順位付け(順位平均、低いほど良い)、2024 春季と 2024 国際大会は 5 点満点の評点(高いほど良い)です。13 人村ではエントリ(チーム-A、チーム-B など)ごとに評価しています。

英語 5人村

審査員 3 名の 5 段階評価(AIWolfDial 2024 概要論文 Table 2) 5 点満点の評点(高いほど良い)。

#チーム発話表現の自然さ文脈を踏まえた対話一貫性・論理行動整合キャラクター性総合
1UEC-IL4.334.674.004.674.334.40
2sUper_IL4.004.004.004.674.004.13
3satozaki3.333.673.673.673.003.47
4kanolab2.673.333.003.333.673.20
5Mille1.672.001.002.001.671.67

日本語 5人村

審査員 4 名の 5 段階評価(AIWolfDial 2024 概要論文 Table 1) 5 点満点の評点(高いほど良い)。

#チーム発話表現の自然さ文脈を踏まえた対話一貫性・論理行動整合キャラクター性総合
1kanolab4.333.674.003.673.673.87
2UEC-IL3.673.673.673.673.673.67
3HondaNLP4.003.004.003.333.673.60
4IS_Lab4.003.672.673.004.333.53
5sUper_IL3.673.673.674.002.673.53
6GPTaku3.333.672.673.002.673.07
7satozaki3.672.672.674.002.333.07
8Mille2.333.002.002.332.002.33

LLM-as-a-Judge(相対評価)

LLM ジャッジがゲームごとにプレイヤーを評価項目別に順位付けし、チームごとに平均したものです(低いほど良い)。使用したモデルは大会ごとに異なり、各トラックの表の上に記載しています。ジャッジの実装は aiwolf-nlp-llm-judge として公開しています。

この大会では LLM-as-a-Judge による相対評価を実施していません(2025 国際大会から実施)。

対戦ログ

本戦の対戦ログを公開しています。正常に終了したゲームのみを掲載しています。

トラック試合ログ
英語 5人村58ログ一覧
日本語 5人村64ログ一覧

ログの見方

「ログ一覧」を開くと、正常に終了したゲームのログ(.log ファイル)が一覧で表示されます。ファイル名の先頭はゲーム開始時刻、続く部分は参加チーム名です。

  • ブラウザで閲覧する: 見たいログの行にある「viewerで見る」列の「▶ 開く」を押すと、aiwolf-nlp-viewer がそのログを読み込んで開きます。
  • ファイルを保存する: 「ダウンロード」列の「⬇ 保存」を押すと、ログファイルをダウンロードできます。ファイル名をクリックした場合は、ログの本文がそのままテキストで表示されます。
  • フォルダごとまとめて保存する: 一覧の「Parent directory/」で一つ上の階層に移動し、フォルダ(success など)の行にある「⬇ zip」を押すと、そのフォルダの全ファイルをブラウザ内で zip にまとめてダウンロードできます(ファイル数の確認ダイアログが出ます)。

viewer の使い方はリンクページの「ログ閲覧ツール」にまとめています。