帰無仮説と比較対象の作り方

バックテストがプラスでも、それだけでは手法にエッジがあると分かりません。同じ時間に同じ方向へ持つだけで得られた利益かもしれないからです。比較対象を置いて、ルールが付け加えた差だけを測ります。

帰無仮説とは

帰無仮説は、検証を始めるときの基準です。トレードルールなら「この条件は比較対象より良い結果を生まない」と置きます。利益が出ることを証明しに行くのではなく、エッジなしでは説明しにくい差があるかを調べます。

帰無仮説を棄却できなかったことは「絶対に効かない」という証明ではありません。今のデータと検定では、偶然との差を十分に区別できなかった、という意味です。

比較対象は、調べたいルール以外の条件をなるべく同じにします。

候補時刻を無作為に入れ替える「シグナル・パーミュテーション」は一つの方法です。ただし、時間帯や連続性を壊すと現実より簡単な比較になります。時系列の依存を残すブロック型の再標本化など、仮説に合う方法を選びます。

観測値だけでなく、エッジなしでも起きる結果の分布と並べて読みます。

株式の買い持ちと同じ基準をそのまま使えません。通貨ペアには2通貨の金利差、スワップ、USDや円への共通エクスポージャー、東京・ロンドン・NYの時間帯差があります。「いつ買っても同じ」ではないので、方向と時間をそろえた比較が必要です。

XAU/USDは長期局面、ドル、実質金利、リスク回避、ロンドン・NY時間への依存があります。買い中心のルールなら、単なる金上昇局面の保有益とシグナルの寄与を分けます。CFDの価格配信やロール条件も記録します。

p値は「帰無仮説が正しい確率」ではありません。帰無仮説を仮定したときに、観測結果以上に極端な結果が出る割合です。p値が小さくても、コスト後の差が小さすぎれば取引価値はありません。逆にサンプルが少ないと、実用的な差があっても検出できない場合があります。

試した数を隠さない

100通りの中から最小p値だけを報告すれば、偶然の当たりを選びやすくなります。第9回で、累計試行数NとDSRによる補正を扱います。

同じ方向・時間帯に持つだけでプラスになるなら、ゼロとの比較はルールの寄与を過大評価します。

ボラティリティのまとまりや時間帯を消した比較は、現実より弱い帰無分布を作ることがあります。

統計的な差と、コスト後に残る実用的な差は別です。両方を満たす必要があります。

第5回で作った仮説に、次の1行を追加します。「比較対象は、方向比率・曜日・時間帯・保有本数・コストを○○の方法で一致させる」。まだ最適な条件を選ばず、比較方法を先に固定してください。

4問で確認します。

Q1. 帰無仮説の基本形は？

まずエッジなしを置き、データがそれに反するかを調べます。

Q2. 良い比較対象は？

調べたいルール以外の条件をそろえます。

Q3. p値が表すものは？

帰無仮説そのものの確率ではありません。

Q4. 統計的に差があれば必ず取引できる？

統計差と実用差は別に確認します。

データを繰り返し使ったモデル選択と比較基準については、Halbert White, A Reality Check for Data Snooping を参考にしています。