experiment: preserve frozen v3 development observation - #209
Merged
Conversation
凍結済みv3のdevelopmentを一度だけ観測し、claim、4 raw packet、outputを保存する。 relation MRRのみ改善し、経路完全性とHit@5の厳密改善gateは不成立のためbaselineを維持する。 共有DBの実行前後hash一致、観測後lifecycle、v3 module、whole-module probeを確認済み。
lipluscodex
commented
Sep 5, 2026
lipluscodex
left a comment
lipluscodex
left a comment
Member
Author
There was a problem hiding this comment.
Lin: Self-review PASS for evidence preservation in #208.
差分はv3 developmentのclaim、4 raw packet、observed outputの6ファイルのみで、凍結protocolや実装への変更はありません。親側でも各case/cohortの観測値とaudit_repository_lifecycleを確認し、development-closed、raw 4件、holdout 0件を確認しました。再計算を含む検証が成立し、共有DBの前後SHA-256も一致しています。
検索候補の採用判定はFAILのまま保存します。関連2例中1例が4位から3位となりMRRは0.375から0.416667へ改善しましたが、関係経路完全性2/2とHit@5 1.0は同値で、厳密改善の2条件が不成立です。否定条件の禁止結果数も2から2のままであり、改善済みとは主張しません。
これは固定された小規模corpusの観測証拠であり、github-ragと同等以上の性能、実運用の統合完了、またはholdoutでの一般化を示すものではありません。現行NGRを維持し、holdoutは開きません。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Closes #208
凍結commit
51a338469475e5786c5f20c4c049a498ee82eeddの正規runnerでdevelopmentをattempt 1、retry 0として観測し、claim・4 raw packet・outputのみを保存しました。relation MRRはbaseline 0.375からcandidate 0.416667へ改善しましたが、経路完全性2/2とHit@5 1.0は両arm同値のため厳密改善gateが不成立となり、baselineを維持します。holdoutは未実行です。
共有DBはrunnerと同じ関数でclaim前の読取確認を行い、実行前後ともSHA-256
e59bca941615124e5ec238dddaacf6e3c35cdeaac19f667469d463eb7f4f6399でした。検証: lifecycleは
development-closed、v3 moduleの7テスト成功、whole-module probeはresult-free・development-closed・holdout-eligibleの全状態で成功しました。凍結ファイルの変更はありません。全体テストはCIで確認します。