高勝率ほど危険？勝率がバックテストの脆弱性を隠す理由

最初に固定すべきなのは指標ではなく推定対象です。本件の対象は「取引1回当たりの真の純期待値と、左裾損失を含めた資本成長の持続可能性」であり、単なる純利益、勝率、Profit Factorではありません。推定対象が曖昧だと、同じCSVから都合に応じて異なる問いへ答え、良い指標だけを採用できます。分析前に対象、時間軸、口座通貨、費用範囲、運用停止境界を宣言し、後から変更した場合は新しい仮説として別バージョンへ分離します。これにより探索と検証の混同を防ぎ、どの数値がどの問いに答えているかを追跡できます。

観測単位は「決済済み取引。ただし同一シグナルから分割された約定は一つの意思決定単位へ束ねる」です。行単位をそのまま独立取引とみなすと、分割約定、部分決済、追加建て、同時シグナルが標本数を膨らませます。親取引ID、シグナルID、ポジションID、時間クラスタを用いて再集約し、行数、取引数、意思決定数、独立クラスタ数を別々に報告します。標準誤差の分母にどの件数を使ったかを明示し、別の集約規則でも結論が維持されるかを感度分析します。

エクスポート時刻、TradingView設定、銘柄、時間足、セッション、タイムゾーン、通貨、手数料、注文処理設定をハッシュ付きで保存します。本件では「低頻度・高損失の左裾、損失の時間的集中、平均勝ち幅と平均負け幅の非対称性」が見えないまま失われると、後日同じ結果を再生成できません。データの修正、欠損補完、並べ替え、通貨換算、重複除去はすべて変換台帳へ記録し、原本、正規化後、分析用の三層を分離します。研究結果は分析コードだけでなく、入力と変換手順を含めて初めて再現可能になります。

CSVが示せることと示せないことを分けます。取引一覧からは損益分布、寄与集中、ドローダウン、時間順序、コスト感度などを再計算できますが、バー内の実際の板、約定キュー、未記録の注文拒否、将来の流動性までは直接観測できません。本件の中心的な破綻連鎖は「勝率を品質の代理変数にすると、小さな利益を反復して一度に吐き出す負の歪度戦略が、安定戦略に見えてしまう」です。この連鎖の各矢印について、データで識別できる部分、仮定で補う部分、追加データが必要な部分を色分けし、推定値を確定事実として表現しません。

プラットフォーム表示値をそのまま真値と置かず、各取引の数量、価格差、費用、通貨換算、R換算を行レベルから再構築します。丸め誤差と定義差は小さく見えても、長期・高頻度・複利では累積します。元表示と再計算の差を総額だけでなく行別に照合し、不一致の符号、時期、銘柄、注文種別への集中を診断します。差が特定状態だけに集中する場合、その状態が見かけのエッジを作っている可能性を検討します。

点推定が正であることと、真の期待値が正である証拠は同じではありません。厚い裾と非対称損益を持つ取引データでは、正規近似だけに依存せず、ブートストラップ、ブロック・ブートストラップ、HAC型標準誤差、分位区間を比較します。標本数を増やすだけでなく、実効標本数、最小検出可能効果、区間下限を表示します。合理的な方法間で区間の符号が一致しない場合は、「利益あり」ではなく「識別不能」と分類する方が科学的です。

取引の独立同分布仮定は多くの場合強すぎます。同一トレンド、同一ニュース、重複保有、連続したシグナルは共通ショックを共有します。自己相関、クラスタ内相関、損失連鎖、保有期間の重複を測り、ブロック長を複数候補で変えます。短すぎるブロックは依存を切断し、長すぎるブロックは再標本化の多様性を失わせます。結論が一つのブロック長だけで成立する場合、その不安定性自体を主要結果として開示します。

平均値は「通常の損切りを超えるギャップ損失が、観測期間に一度も現れないまま勝率だけを押し上げる」という構造を希釈します。左裾の分位点、期待ショートフォール、最大損失の影響度、損失クラスタ長、ギャップ倍率を用い、過去最大損失を損失上限として扱いません。さらに口座残高ゼロだけでなく、証拠金不足、許容DD、運用停止、投資家解約など複数の吸収境界を設定します。境界へ達する確率と到達時期は、過去最大DDとは別の推定対象として報告します。

手数料を一律に差し引くだけでは不十分です。スプレッド、スリッページ、資金調達、借株、ロール、通貨換算、注文レッグ数、サイズ、セッションを分解します。費用は損益と独立ではなく、損失局面で悪化しやすい可能性があります。基準費用、2倍、3倍、上方分位、危機シナリオを比較し、損益分岐費用を逆算します。わずかな現実化で符号が反転する場合、粗利益の大きさにかかわらず実行余裕が小さいと評価します。

期間、銘柄、時間足、パラメータ、フィルター、出口、表示指標を何通り試したかが分からなければ、最良結果の希少性を評価できません。報告された一つだけでなく、探索履歴全体を母集団として扱い、未採用候補、途中棄却、OOS再利用も試行数へ含めます。Reality Check、SPA、PBO、Deflated Sharpe Ratioなどは万能ではありませんが、無補正の最大値より選択効果を可視化します。試行数を記録していないこと自体を高リスク所見にします。

全期間平均が正でも、特定のトレンド、ボラティリティ、時間帯、流動性、金利状態だけに利益が集中している可能性があります。状態分類は利益を見た後に都合良く作らず、事前規則または訓練期間だけで固定します。状態別期待値、費用、DD、占有率、遷移確率、利益寄与率を報告し、将来の状態構成を再加重します。ある状態の占有率を少し変えるだけで全体が赤字になるなら、戦略の説明は「普遍的」ではなく条件付きです。

同じ取引集合でも順序、開始日、初期資本、サイジング規則で資本曲線は変わります。固定R、固定枚数、定率複利を分離し、順序反転、循環シフト、ブロック再配列、開始日アンサンブルを比較します。初期の数取引が後続サイズを増幅した場合、最終利益はシグナル品質と複利フィードバックの合成です。どちらが寄与したかを分解し、代表パスではなくパス分布の下位分位で運用可能性を判断します。

良い分析は「起きた結果」を説明するだけでなく、「合理的に別の処理をしていたら何が起きたか」を計算します。本件では平均損失倍率・テール損失頻度・連敗クラスタ長を動かし、他の条件を固定した局所反実仮想と、複数条件を同時に動かす全体ストレスを分けます。一つずつ動かす分析は原因理解に向き、同時ストレスは資本保全に向きます。最悪値だけを恣意的に選ばず、基準、軽度、中度、危機のシナリオ生成規則を事前に文書化します。

同じロジックでも、計算順序、欠損処理、丸め、タイムゾーン、バー統合、約定規則の実装差で結果が変わります。可能なら独立した二系統で主要指標を再計算し、行別差分を比較します。コード変更時には固定フィクスチャ、境界値、異常値、逆順序、空データ、極端費用を含む回帰テストを走らせます。エンジンのテスト件数を訴求する場合も、件数だけでなく対象関数、許容誤差、未解決不一致を同時に示す必要があります。

判定閾値は結果を見てから動かしません。期待値下限、最大寄与率、費用倍率、破産確率、符号安定率、実効標本数などを事前に設定します。閾値近辺では二値の合否だけでなく、推定誤差と経済的重要性を併記します。統計的有意でも利益額が小さく費用余裕がなければ実務価値は乏しく、逆に経済的に大きくても不確実性が広ければ検証継続が必要です。統計と経済性を別軸にした意思決定表を用います。

入力ファイルのハッシュ、分析時刻、コード版、パラメータ、乱数seed、ブロック長、反復回数、除外規則、出力を一つの研究台帳へ保存します。後から同じファイルを解析した時に、同じ結果が得られなければ比較可能性がありません。探索段階の結果と検証段階の結果を別名前空間にし、OOSを見た後の変更は新しい研究として記録します。結果だけでなく失敗した試行も残すことで、選択バイアスの監査可能性が生まれます。

統計量の変化を実資本の意味へ翻訳します。期待値が0.03R下がる、DDが5ポイント深くなる、回復が120日延びる、破産確率が3%から12%へ上がる、といった差が、取引回数、資金量、証拠金、継続可否へどう影響するかを示します。小さな数値差でも高頻度なら累積し、低頻度でも吸収境界に近ければ重大です。単に「有意／非有意」ではなく、継続運用、縮小、再設計、棄却の行動区分へ接続します。

最終判断は、良い曲線を見つけた担当者だけに委ねません。仮説作成、実装、検証、承認の役割を可能な範囲で分離し、重大な不一致、データ欠損、再現不能、閾値割れがあれば自動停止します。本件の採否原則は「勝率ではなく、費用控除後期待値、ペイオフ比、歪度、期待ショートフォール、ブロック再標本化後の破産確率を同時に通過させる」です。通過は将来利益の認定ではなく、現在の証拠が最低限の反証に耐えたという限定的な意味に留めます。新データが追加された時は同じゲートを再実行し、過去の合格を永久資格にしません。

複数の指標が同時に悪化する場合、純利益がゼロになる点より先に、証拠金、許容DD、回復期間、最小取引件数など別の運用境界へ達することがあります。平均損失倍率・テール損失頻度・連敗クラスタ長の各格子点で、最初に破られた境界を記録します。これにより「まだ黒字だから安全」という誤解を避け、実際の停止条件に沿ったリスク地図を作れます。

平均値の符号だけでなく、候補戦略間の順位が再標本化で維持されるかを確認します。わずかな摂動で1位と20位が入れ替わるなら、最良候補の選択は精密に見えても不安定です。Kendall順位相関、上位k残存率、選択頻度を保存し、単一回のランキングを確定序列として扱いません。

欠損行、異常値、ゼロ数量、重複時刻を削除するときは、削除前後の結果と除外理由を公開します。欠損がランダムでない場合、完全ケース分析は特定の損失局面だけを落とします。保守的代入、最悪値代入、除外なしの三系統を比較し、データ清掃が利益を生成していないかを検査します。

通貨建て損益、百分率、R倍率、対数リターンは異なる問いに答えます。サイズ変動がある戦略を通貨額だけで評価すると後半が過度に重くなり、Rだけでは資本境界が見えません。複数尺度を並べ、どの尺度でも中心的結論が保たれるか、差が資金配分から生じていないかを確認します。

本来効果がないはずの時刻シフト、ランダム化シグナル、ラベル反転、無関係な特徴量を負の対照として用います。対照でも同程度の成績が出るなら、戦略エッジよりデータ処理、選択、共通トレンドを拾っている可能性があります。プラセボ分布の上位何%に実戦略が位置するかを報告します。

バックテスト通過後は、前向き期間で事前予測と実現値の差を逐次記録します。期待値、勝率、費用、DD、保有期間の予測区間に対して、実現値が何回外れたかを監視します。逸脱が続く場合は自動停止し、過去データへ戻って都合良く再最適化する前に、構造変化か実装差かを切り分けます。

複数の統計手法が同じ結論を返すことは安心材料ですが、同じ誤った入力を共有すれば一致して誤ります。手法の多様性だけでなく、入力構築、実装言語、担当者、仮定の独立性を確認します。全モデル一致を真理の証明とせず、共通故障モードを列挙します。

利益側の最良値だけでなく、損失側の下位分位、失敗シナリオ、未解決不一致、データ欠損も同じ視認性で表示します。通過件数だけを大きく見せ、失敗の定義を小さく隠すと研究報告ではなく広告になります。商業訴求を行う場合ほど、合成例、限界、非保証、動的な検証ステータスの出典を明確にします。