Skip to content

运行时:缺少真实 Pi adapter 的受控测量证据 #10

Description

@ZZDR1023

用户可见症状

当前 FakeRuntimeAdapter 可提供确定性 CI/local 基线,但 PiRuntimeAdapter 尚无一次可审计、经授权的真实运行测量。因此 alpha 不能把 fake 成功表述为真实 Pi runtime 的质量、成本、延迟、失败率或人工干预表现。

查重与关联

已逐条复核全部开放 Issue #3#4#5#9 和关闭 Issue #1

外部前提(当前阻断)

需要用户明确批准一次受控 live runtime 验收,并提供或确认可用的 Pi provider/model 配置与成本边界。不得在 Issue、PR、终端输出、run state、project.zip 或 benchmark report 中暴露 API key、cookie、session、provider token、模型私有 prompt 或绝对宿主路径。当前 agent 会话的 PI_* 环境仅说明协调器自身运行方式,不能自动视为产品 runtime 的授权。

后续范围

在授权后,只使用公开 synthetic 或用户明确允许的最小题包,执行受预算约束的 Pi run,并记录:

  • provider/model/thinking 的受限 opaque identity;
  • wall time、token、cost、人工 review/intervention、hard errors 和可复现 artifact/evidence 结果;
  • 对不可获取的指标保留 null / unavailable,不得写为 0 或成功;
  • 失败 fingerprint 与安全分类,不保存原始 provider response、secret 或 private prompt。

执行前必须做不泄密的 capability preflight;若 runtime/权限/预算不可用,记录 blockedunavailable,不伪装为测量成功。

验收

主控在获批预算内完成至少一次真实 Pi adapter 运行,独立验证 result contract、Evidence Graph、报告去敏和 metrics 状态;输出能明确区分 measured 与 unavailable/blocked。随后由人确认成本、数据使用范围与结果解释。

非目标

  • 不将真实 provider 凭据写入仓库或 CI。
  • 不把一次 live 运行夸大为全面 benchmark 或模型质量保证。
  • 当前不派 code worker;等待授权与可用 runtime。

Metadata

Metadata

Assignees

Labels

P2小缺陷、工程化与体验打磨,按队列处理enhancementNew feature or request

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions