[검증] 백테스트가 새 데이터를 보지 못한다 — v3 는 고른 데이터로만 평가돼 있다

[RosieOh]

📄 설명

const LIST_SDATE = '20240101';
const LIST_EDATE = '20260714';   // ← 하드코딩

두 달 뒤에 다시 돌려도 같은 68주를 다시 읽는다. 다시 돌린다고 새로 아는 것이 없다.

⚠️ 왜 이게 심각한가

배포된 점수표 v3 는 바로 그 68주에서 후보 10개를 비교해 고른 것이다. 고밀도 주가 26건뿐인 표본에서 10개 중 최고를 뽑았으니 과적합 위험이 실질적이고, 확인할 유일한 방법은 선택에 쓰이지 않은 새 주간이다.

종료일이 고정돼 있으면 그 데이터가 영영 들어오지 않는다. 즉 지금까지의 모든 성적은 "고른 데이터에서의 성적" 이고, 한 번도 검증된 적이 없다.

함께 발견한 보고 문제 둘

① 헤드라인이 배포본이 아니다. 과제 A·B 의 "룰" 숫자는 DEFAULT_RULE_SCORES(= v1 폴백)로 낸 것이다. 코드 주석도 "운영 점수표가 아니다" 라고 적혀 있는데, 보고서에는 그 구분이 없다. 헤드라인만 읽으면 AUC 0.742 를 현행 성적으로 오해한다(v3 는 같은 실행에서 0.871).

② 홀드아웃 경고가 하드코딩. '표본 20개(고밀도 3개)' 로 박혀 있어 실제로 40개(고밀도 11개)가 된 뒤에도 "순위를 논할 수준이 아니다" 라고 말한다. 주의 문구가 실제보다 세면 맞는 결과까지 버리게 된다.

✅ 작업할 내용

• 기간을 실행일 기준으로 (BACKTEST_FROM/BACKTEST_TO 로 덮기 가능)
• 헤드라인이 어느 점수표인지 명시
• 홀드아웃 경고를 실제 표본 수로
• 표본 외 결과를 docs/backtest.md 에 기록

🙋🏻 참고 자료

과제 E-5(시간 분할 홀드아웃)는 이미 구현돼 있었다. 데이터가 안 늘어서 쓸모가 없었을 뿐이다.

[RosieOh]

PR #96 머지.

표본 외 재실행 결과: v3 는 살아남았습니다. AUC 0.871 vs 베이스라인 0.812, 2026 홀드아웃에서도 0.842 vs 0.809.

⚠️ 다만 재현율이 73.1% → 64.7% 로 떨어졌고, 같은 기간 베이스라인은 69.2% → 73.5% 로 올랐습니다. 지금은 지난주 보고서를 베끼는 쪽이 더 많이 잡습니다.

34건 중 3주 차이라 부트스트랩으로는 구별되지 않아 이번에는 점수표를 고치지 않았습니다 — 지금 데이터로 다시 고르면 또 한 번의 선택-위-검증입니다. 다음 재실행에서 격차가 유지되면 (b3) 고40/저10 을 놓고 미경보/과경보 중 무엇을 감수할지 정해야 합니다.