背景
v0.1-alpha 规格要求三道历史题 blind runs、至少六类任务和一个 custom experiment，并与 one-shot prompt baseline 比较完成度、硬错误、时间、token、成本和人工审阅指标。目前仓库只有单一 synthetic smoke，无法支撑能力声明。
目标
建立可离线运行、结果可冻结、不会泄漏同题答案的 benchmark harness。先提供框架、fixture 与 synthetic reference run，不伪造三道历史题成绩；真实历史题数据后续按许可证单独加入或由用户提供。
范围
- 仅新增/修改
src/benchmark/**、benchmarks/**、tests/benchmark-*.test.ts，必要时增加 benchmark 专用 Schema；不修改 Orchestrator、CLI、input、server 或报告实现。
- 定义版本化 benchmark manifest：case id、题包路径、允许任务类型、blind/reference policy、runtime/execution、预算、预期硬检查和许可证元数据。
- 定义统一结果格式，至少记录：completion、hard-error、wall time、task-type coverage、custom experiment、token、cost（未知必须 null，不能填 0）、human-review minutes/notes、artifact/evidence counts、run/commit/environment identity。
- 实现可编程 runner API，调用注入的 run adapter；测试使用 deterministic fake adapter，不依赖网络或真实模型。
- 定义 one-shot baseline adapter contract，与 Agent run 使用同一 frozen case 和指标口径；禁止把 reference solution 内容传入 blind solve。
- 实现聚合和 Markdown/JSON 报告，清楚区分 measured、not_run、blocked 和 unavailable；不能把缺失数据当成功。
- 提供至少两个 synthetic cases，其中一个覆盖
custom_experiment，用于证明 harness、比较和失败记录。
- 文档说明如何合法添加三道历史题，数据/答案不得默认提交到仓库。
TDD / 验收
先写 Red，覆盖：manifest 校验、blind firewall 元数据、null token/cost、baseline/agent 同口径、失败不伪装成功、聚合报告。实现后运行：
npm run check
npm run build
另执行 benchmark synthetic runner，生成 JSON + Markdown，并验证结果可重复且不含绝对路径、密钥或 reference answer。
非目标
- 宣称已完成三道真实历史题；
- 修改 modeling algorithms、Orchestrator、输入提取、REST API；
- 联网搜索或提交受版权保护的赛题/答案。
背景
v0.1-alpha规格要求三道历史题 blind runs、至少六类任务和一个 custom experiment，并与 one-shot prompt baseline 比较完成度、硬错误、时间、token、成本和人工审阅指标。目前仓库只有单一 synthetic smoke，无法支撑能力声明。目标
建立可离线运行、结果可冻结、不会泄漏同题答案的 benchmark harness。先提供框架、fixture 与 synthetic reference run，不伪造三道历史题成绩；真实历史题数据后续按许可证单独加入或由用户提供。
范围
src/benchmark/**、benchmarks/**、tests/benchmark-*.test.ts，必要时增加 benchmark 专用 Schema；不修改 Orchestrator、CLI、input、server 或报告实现。custom_experiment，用于证明 harness、比较和失败记录。TDD / 验收
先写 Red，覆盖：manifest 校验、blind firewall 元数据、null token/cost、baseline/agent 同口径、失败不伪装成功、聚合报告。实现后运行：
另执行 benchmark synthetic runner，生成 JSON + Markdown，并验证结果可重复且不含绝对路径、密钥或 reference answer。
非目标