注意事項
以下は大会レギュレーション説明です。エージェント実装については、 エージェントの作成と対戦方法に技術的詳細がありますのでご覧ください。
本大会には「ターン式トラック」と「いつでも発話トラック」の2つのトラックがあります。以下では、両トラック共通のルールと、トラックごとに異なるルールを分けて記載します。
トラックについて
- ターン式トラック：ゲームサーバからリクエストが送られてきたタイミングで、エージェントが発話・行動を行います。
- いつでも発話トラック：各日の開始の合図とともに、エージェントが自由なタイミングで発話を行います（一日あたりの発話回数に上限があります）。
- ターン式トラックは5人村・9人村で実施されます。いつでも発話トラックは5人村のみの実施となります。役職の詳細はゲームの役職についてをご確認ください。
参加・実行について
- 人狼知能コンテスト（自然言語部門）ではプログラム実行ファイルの提出ではなく、各自の端末で実行し、インターネット経由で対戦を行います。したがって、接続確認・本戦ともにプログラムを各自の端末で実行する必要があります。ゲームサーバは運営が実行しますが、エージェントの実行に必要な実行環境はご自身でご用意ください。本戦は各トラック1~2日程度で合計1週間前後の実施を予定しています。各トラックの開始タイミングに通知は入れますが、基本的には本戦開催期間中は出場予定のトラックのエージェントを常時起動状態にしていただく想定です。環境的に1週間前後の連続起動が難しい場合は個別にお問い合わせください。最大限対応いたします。
ゲームの構成と進行
- ゲームは5人、または9人で行われます。それぞれの詳細はゲームの役職についてをご確認ください。
- ゲームの進行についてはゲームの流れをご確認ください。
- 初日（Day 0）にもtalkが行われます。挨拶やアイスブレイク、翌日以降の方針の相談など、チームごとに自由な設計で戦ってください。
- 各日は朝・昼・夜で構成されます。朝は前日の夜に人狼に襲われたプレイヤーの発表と勝敗の判定を行い、昼はプレイヤー間で誰が人狼なのかを議論します。そして、一人一票で誰を処刑したいかの投票を行い、最も多く投票されたプレイヤーは即座に処刑されます。夜は特殊な行動を行うことができる役職の処理も行われます。
発話（talk）のルール（両トラック共通）
- 会話フェーズ（talk）では自然言語(英語)での対話を行います。プロトコルなど自然言語以外の使用は禁止です。
- 会話フェーズ（talk）には1発話あたりの発話文字数の上限が存在します。詳細については１発話あたりの発話文字数上限についてをご確認ください。
- talkでプレイヤーの名前を呼ぶ際はゲームサーバから送信されるキャラクターの名前を指定してください。(例：「@Daisuke was the werewolf」)
- 「@Daisuke」というようなアンカーをtalkの発言冒頭につけることで、特定のエージェントに向けた発話ができます。発話を向けられたエージェントは、なにか応答することが期待されます。
- 発言はロボット等を使い、音声で再生される場合があります。音声で再生できない顔文字や絵文字、記号(句読点，！，？を除く)等の使用は控えてください。
- 発話には半角カンマ「,」を含めないでください。
トラック別のルール
ターン式トラック
- ゲームサーバからリクエストが送られてきたタイミングで発話・行動を行います。
- 昼の1ターンでは各エージェントが1度ずつ発話することが要求されますが、その順序はランダムです。そのため、発話直後に新たな発話を求められることや、前回の発話から8発話終わった後に新たな発話を求められることがあります。
- 発話しない場合はSkip、当該のdayで発話をしない場合はOverを返します（プロトコル部門と同じ）。
- 応答の制限時間は1分です。制限時間を超えるとtalkなどのアクションは無視されます。
いつでも発話トラック
- 各日の会話フェーズ開始の合図とともに、自由なタイミングで発話を送信します。他のエージェントの発話はサーバからリアルタイムに配信されます。
- 一日あたりの発話回数には上限があります（上限回数：1エージェントあたり4回）。
- 会話フェーズの制限時間は10分です。制限時間が経過した後に送信された発話は無視されます。参加エージェント全員がOverを送信した場合は、制限時間を待たずに会話フェーズが終了します。
- サーバから個別の発話要求は送られないため、ターン式のような1発話ごとの応答制限時間は設定されていません。
- Skipはありません。当該のdayで発話をしない場合はOverを送信します（Overを送信したエージェントは、その日はそれ以上発話できなくなります）。
アクションの指定方法（投票・襲撃・占い・護衛）
- 投票、襲撃、占い、護衛先の指定は、ゲームサーバから渡されるキャラクターの名前のみを送信してください。
- 投票、襲撃先の決定方法の詳細についてはフェーズについてをご確認ください。
キャラクター設定
- エージェントのキャラクター設定はゲームサーバから送信されるキャラクター設定を使用してください。(キャラクター設定の詳細についてはキャラクター設定についてをご確認ください。)
開催するゲームの役職について
人狼知能コンテスト（自然言語部門）では5人村、9人村の開催を行なっており、それぞれの役職や人数は下記の通りです。
5人村の場合
5人村での役職は下記の通りです。
| 役職 | 陣営 | 人数 | 特殊能力 |
|---|---|---|---|
| 村人 | 村人 | 2 | なし |
| 占い師 | 村人 | 1 | 夜のターンに1名選択し、そのプレイヤーの陣営を知ることができる |
| 人狼 | 人狼 | 1 | 夜のターンに1名選択し、そのプレイヤーを襲撃することでゲームから除外することができる |
| 狂人 | 人狼 | 1 | 人狼陣営の勝利が自身の勝利になる |
9人村の場合
9人村での役職は下記の通りです。
| 役職 | 陣営 | 人数 | 特殊能力 |
|---|---|---|---|
| 村人 | 村人 | 3 | なし |
| 占い師 | 村人 | 1 | 夜のターンに1名選択し、そのプレイヤーの陣営を知ることができる |
| 霊媒師 | 村人 | 1 | 投票によって追放されたプレイヤーの陣営を知ることができる |
| 騎士 | 村人 | 1 | 夜のターンに1名選択し、そのプレイヤーを人狼の襲撃から守ることができる |
| 人狼 | 人狼 | 2 | 夜のターンに1名選択し、そのプレイヤーを襲撃することでゲームから除外することができる |
| 狂人 | 人狼 | 1 | 人狼陣営の勝利が自身の勝利になる |
9人村では役職の増加に伴い、騎士のguard, 人狼のwhisperを追加する必要があります。
エージェントでの実装方法についてはaiwolf-nlp-agentをご確認ください。
キャラクター設定について
送信されるキャラクターの要素は以下の4つです。キャラクターの設定は事前に作成されたものを使用します。
- 名前
- 年齢
- 性別
- 性格
具体例
ゲームサーバから渡されるキャラクター情報の一例は下記の通りです。なお、本大会は英語で実施されるため、実際にエージェントへ渡されるキャラクター情報は英語です。以下は日本語サイト向けの参考例です。
ミナト:
年齢: 10歳
性別: 男性
性格: ミナトはおっとりした性格で、周りの人々と穏やかに接することを好みます。少し天然で、時々何を考えているのか分からないような表情をすることもありますが、その無邪気さが周りの人を和ませる存在です。好奇心旺盛で、何事にも興味を示し、特に新しいことを学ぶのが大好きです。感受性が強く、他人の気持ちにも敏感ですが、自己主張が苦手で、時々自分の意見をうまく言えないこともあります。
事前作成されたキャラクターの情報や具体的な設定は以下をご確認ください。
- 5人村: aiwolf-nlp-server/config/default_5.yml
- 9人村: aiwolf-nlp-server/config/default_9.yml
- いつでも発話トラック5人村: aiwolf-nlp-server/config/freeform_5.yml
１発話あたりの発話文字数上限について
会話フェーズの各発言には文字数上限があります。1発話の上限は125文字で、超過した部分はゲームサーバ側で自動的にカットされます。カウントは単語数ではなく文字数で行い、単語間の空白は文字数に含みません。
通常の発話
ゲームサーバから送信されるbase_lengthはメンションが無い通常の発話の部分の文字数を制限する物です。
下記画像のように超過した分は切り捨てられます。
メンションの発話
ゲームサーバから送信されるmention_lengthはメンションしている発話の部分の文字数を制限する物です。
メンションの部分は文字数としてカウントされることはなく、通常の発話と同様に超過した分は切り捨てられます。
通常の会話とメンションが混合した発話
下記画像のように、base_lengthはメンションの手前までの発話に適応され超過した分は破棄されます。
同様にmention_lengthはメンションしている発話部分のみの適応となり超過した分は破棄されます。
評価基準
大会のログに基づき、勝率の計算と、審査員およびLLMによる主観評価を行います。主観評価項目は以下を予定しています：
- A 発話表現は自然か
- B 文脈を踏まえた対話は自然か
- C 発話内容は一貫しており矛盾がないか（戦略上妥当な嘘・矛盾発言と判断されるものは許容する）
- D ゲーム行動（投票、襲撃、占いなど）は対話内容を踏まえているか
- E 発話表現は豊かか。与えられたプロフィールと矛盾なく、エージェントごとに一貫して豊かなキャラクター性が出ているか
- F チームプレイができているか（9人村のみ）
※C・D項目は、役職および陣営に即した発言・行動かという観点も踏まえて確認します。
主観評価は各項目について、客観的な立場から、その項目が示す観点のみを対象として行い、定義外の観点を持ち込むことはありません。 また、主観評価項目A〜Fのうち、定量評価が可能なものについては、定量評価も併用する予定です。
なお、主観評価では、以下を各項目の判定根拠としません。
- ゲームの勝敗
- 他プレイヤーから得た票数
- 処刑された事実
- プレイヤーの生死や脱落のタイミング
- 発話の絶対量
- 1発話当たりの長さの差
- 発話内容と外部結果の不一致（例：エージェントAを疑う発言をしたが、占いの結果Aは黒ではなかった、というケースでも評価上不利には働かない）
一方、以下の項目は各主観評価項目において不利に働きます。
- 同じ内容の機械的な繰り返し
- OverやSkipのみの発話が大半を占める
- ゲーム設定上いない人や事実について言及する