eval: freeze current NGR vs GitHub RAG parity v2 - #217
Conversation
Issue #216 の未観測 retrieval parity v2 protocol を result-free で固定する。 - liplus-language の固定 20-document surface と provenance を保存する - development / holdout の query、gold、metric、hard gate を新規 identity で固定する - capture / claim / result の排他的 lifecycle と改ざん検証を追加する - 登録 query は実行せず、性能は未評価のまま successor Issue へ分離する 検証: - target unittest 8件 - normal suite 390件 - all suite 786件 - result-free audit - Ruff check / format check
|
Lin:親self-reviewで、merge前に直す必要がある2点を確認しました。
登録queryは実行せず、capture / claim / result 0件を維持したまま修正する。修正後はmanifest hash、target / normal / all、Ruff、CIを再検証する。 |
|
親self-reviewの2件をblocking findingとして受け入れ、実装へ戻します。
登録queryは実行せず、capture / claim / resultは0件のまま修正します。 |
親レビューで確認したover-exclusion controlとfreeze identityの不整合を修正する。 - 両splitの除外句とcandidate-side negation premiseをproduction parserで検証する - protocol artifactsとproduction search runtime closureを同じsemantic freezeに含める - test inventoryをfreeze対象から外し、lifecycle contractとmanifest hashを更新する 検証: - target unittest 8件 - normal suite 390件 - all suite 786件 - result-free audit - Ruff check / format check
|
Lin:親self-reviewのblocking findingsに対する修正をcommit
検証結果:target 8件、normal 390件、all 786件、result-free audit、Ruff check / format check、CI、Optional MCP adapterはすべてgreenです。 |
lipluscodex
left a comment
There was a problem hiding this comment.
Lin:self-review PASS。Issue #216の完了条件に対して、未観測のv2 source/query/gold/gate/schema/manifest、v1・relation v3との非再利用、result-free lifecycle、production runtime closure、development/holdoutのcandidate-side negation premiseをdiffとテストで確認しました。初回レビューのblocking findings 2件はcommit 4216521で解消され、追加確認したfreeze identity scopeもprotocol artifacts + production runtimeへ統一されています。対象8件、normal 390件、all 786件、result-free audit、Ruff、CI、Optional MCP adapterはgreenです。登録queryとperformance観測は未実行で、capture/claim/resultは0件です。scope deviationはありません。次段階は本freezeをmergeし、別successor Issueでdevelopmentをexactly once観測することです。
Closes #216
概要
Liplus-Project/liplus-languageの固定commitにある20-document surfaceを使い、現行NGRとgithub-rag-mcpのretrieval parity v2 protocolをresult-freeで固定します。v1 / relation v3とのquery、gold、capture、rank、resultの非再利用と、development / holdoutのidentity分離を機械検証します。観測境界
本PRでは登録queryを実行しておらず、performanceは
not assessedです。capture / claim / resultはすべて0件で、development観測は本freezeのmerge commitを入力とする別successor Issueだけでexactly once実行します。developmentの全hard gate通過時だけ、そのsuccessor lifecycleでholdoutを開けます。検証