Skip to content

test: add explicit regression and experiment suite runner - #212

Merged
lipluscodex merged 1 commit into
mainfrom
test/210-suite-selection
Sep 6, 2026
Merged

test: add explicit regression and experiment suite runner#212
lipluscodex merged 1 commit into
mainfrom
test/210-suite-selection

Conversation

@lipluscodex

Copy link
Copy Markdown
Member

Closes #210
製品・共通契約・歴代実験を明示分類し、normal / experiments / all runner と分類漏れ検証を追加します。
凍結対象の CI は変更できないため全件実行を維持し、局所実行の整理として提供します。CI 高速化は未実施です。

検証結果と Python 3.14 の既知の再現制約は docs/test-suites.md に記録しています。既存 protocol、manifest、テスト、fixtures、証拠、CI の変更はありません。

製品・共通契約・歴代実験を明示分類し、未知・欠落・重複を検証する。
凍結CIの全件実行は維持し、局所実行経路と再現条件を文書化する。
@lipluscodex lipluscodex linked an issue Sep 5, 2026 that may be closed by this pull request
@lipluscodex lipluscodex self-assigned this Sep 5, 2026

@lipluscodex lipluscodex left a comment

Copy link
Copy Markdown
Member Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Lin: Self-review PASS for #210.

PR上の差分は新規4ファイルのみで、凍結済みprotocol、manifest、既存テスト、fixtures、観測証拠、CI設定は変更していません。

product / shared / historicalの全81モジュールを明示分類し、normal / experiments / allを選択できます。未分類、古い登録、重複登録はfail closedで拒否され、新規検証自身も既存unittest discoverに含まれます。normalとexperimentsの積集合がshared、和集合がallであることもテストされています。

Python 3.11.15でnormal 371件が117.402秒、all 767件が304.200秒で、いずれもskip 0、failure 0です。CIとOptional MCP adapterも現在のhead aae65c302de9b542701199db4b0bcdc093b873deでSUCCESSです。

この変更はローカル選択経路の整理です。凍結manifestがCI設定をhash対象にしているため既存CIは全件実行を維持しており、CI高速化やテスト総数削減を達成したとは扱いません。normalは共有runtime変更時のallの代替ではないことも文書化されています。

@lipluscodex
lipluscodex merged commit cf9e908 into main Sep 6, 2026
2 checks passed
@lipluscodex
lipluscodex deleted the test/210-suite-selection branch September 6, 2026 04:40
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

test: separate product regression and frozen experiment suites

1 participant