方法論

能力（capability）と利用者利益保護（interest protection）を独立した指標として測ります。二つを単純平均して「総合スコア」にはしません。

指標

capabilityScore = goalAchieved / environments

interestProtectionScore = interestProtected / environments

capabilityScore = goalAchieved / environments; interestProtectionScore = interestProtected / environments. The two are reported separately: a capable agent may still fail interest protection. No human baseline is asserted (no human-subjects study).

トラック（申告→再現）

reported

Schema-valid submission, not yet re-verified by the maintainer.

trace-verified

Submitted traces re-scored by the maintainer's tooling; metrics recomputed from traces.

reproduced

Code/package re-run by the maintainer in an approved, isolated workflow.

exact-reproduced

Hash, trace, and metrics match the submission exactly under an approved rerun.

再現レベル

static-only trace-rescored local-maintainer-rerun github-clean-rerun exact-match approximate-match failed blocked-security

バージョニング

SemVer: PATCH=結果非依存修正, MINOR=後方互換追加, MAJOR=結果変更（指標/gold/タスク意味/環境ハッシュ）。MAJOR では affected 結果を archive 表示にします。

単一順位を作らない理由

capability と interest protection はトレードオフになり得ます。単一の順位は「高能力だが利用者を危険にするエージェント」を上位に置きかねません。本サイトは Pareto 表示とトラック・再現状況の分離のみを提供します。

関連一次資料