再現性

結果はトラックと再現レベルで分けて報告されます。非決定論エージェントは repetitions で評価し、平均・標準偏差・タスク一致率・信頼区間を付けます。

再現レベル

static-only trace-rescored local-maintainer-rerun github-clean-rerun exact-match approximate-match failed blocked-security

手動再現ワークフロー

再現は workflow_dispatch のみ。承認済みコミット SHA を入力とし、許可リポジトリ・パッケージハッシュ・ネットワークポリシー・タイムアウトを限定。成果物のみアップロードし、公開・push はしません。

安全に隔離できない任意のコードは実行せず、MANUAL_REPRODUCTION_BLOCKED とします。

open / closed web

closed-web

ベンチマーク localhost 以外のネットワーク 0。

open-web

外部ネットワーク許可。汚染リスクを開示して比較。

非決定論ポリシー

Non-deterministic agents are evaluated with repetitions; we report mean, standard deviation, task-level agreement, and confidence intervals. A single run is never treated as an exact reproduction.

必須項目: repetitions, seed, mean, stdDev, confidenceInterval, taskLevelAgreement