スコアリングガイド — ブライアースコアと予測精度の測り方
ブライアースコア（Brier Score）とは
ブライアースコアは、確率予測の精度を測る数値指標です。0〜1の範囲をとり、数値が低いほど精度が高いことを意味します。
計算式
BS = (確率/100 - 結果)²
例: 70%でYESと予測 → 結果がYES（1）
BS = (0.70 - 1.0)² = 0.09 → GOOD
例: 70%でYESと予測 → 結果がNO（0）
BS = (0.70 - 0.0)² = 0.49 → POOR
スコア階層
| Brier範囲 | ティア | 意味 |
|---|---|---|
| 0.00 – 0.05 | EXCELLENT | ほぼ完璧なキャリブレーション |
| 0.05 – 0.15 | GOOD | 市場平均を上回る精度 |
| 0.15 – 0.25 | FAIR | 市場コンセンサスと同程度 |
| 0.25 – 0.35 | WEAK | 体系的なバイアスまたはキャリブレーション不良 |
| 0.35 – 1.00 | POOR | 一部予測でランダム（50/50）より悪い |
現在のNowpatternスコア
1116総件数35的中18外れ66.0%正確率正確率 = 的中÷(的中+外れ) = 35÷53 | サンプルサイズ n=53 | 95% CI: [53.3%, 78.8%]平均Brier Score: 0.47 — POOR ⚠️ (暫定値)⚠️ スコアについての注記（誠実な開示）
現在表示しているBrier Score 0.47（POOR）は、すべての予測確率が「現在の推定値から逆算した暫定値（FROM_CURRENT_VALUE_BACKFILL）」であるため、キャリブレーション評価としての信頼性が低い。
また、正確率 66.0% は n=53（的中35 + 外れ18）の小サンプルに基づき、95%信頼区間 [53.3%, 78.8%] と幅広い。
将来の予測では、予測時点の確率をOTSタイムスタンプで記録・固定する予定。 詳細: 整合性・監査ページ
解決プロセス
- オラクル期限到達
prediction_auto_verifier.pyが自動的にGrok検索でエビデンスを収集- Claude Opusが判定（HIT/MISS/NOT_SCORED）
- Brier Scoreを計算・記録
- /predictions/ ページに反映
未解決の予測
オラクル期限を超えても解決できなかった予測は EXPIRED_UNRESOLVED になります。スコアは計算されず、的中率にも含まれません。
なお、NOT_SCORED（採点対象外）に判定された4件は、的中数・外れ数・正確率の計算から除外されています。
スコアボードを確認: 予測トラッカー