バックテストの過剰最適化を見抜く：パラメータの隣を見て針か台地かを判定する

シリーズ「検証結果の読み方」全3回の第3回です。

3回に分けて、検証結果の読み方を扱ってきました。1回目はサンプル数と試行回数、2回目は試行回数を割り引く DSR。どちらも「その数字は本物か」を1つの成績に対して問う話でした。

最後は角度を変えます。パラメータを1つ動かして、成績が横にどう並ぶかを見ます。1点の数字ではなく、地形として見るという話です。

TL;DR

移動平均の期間を1から40まで振って、一番成績の良かったものを採用する。よくある手順です。

ここで、本当は何のエッジも無い戦略を用意します。40通り試して、一番良かったものの成績を見ます。1000本のデータで2000回繰り返した中央値です。

エッジはゼロです。それでも半分の確率で年率SR 0.93 以上が出ます。運が良ければ1.66。この数字だけ見せられたら、多くの人は採用します。

1点だけ見ていると区別がつきません。ですが横に並べると、はっきり違いが出ます。

本当にエッジがある場合と無い場合で、最高点とその周辺がどうなるかを比べました。

エッジが無いほうは、最高点から2つずれただけで成績が半分以下になります。周りが低い中に、1本だけ細い針が立っている形です。

エッジがあるほうは、ずれても6割以上を保ちます。なだらかな台地の上に最高点が乗っている形です。

針か台地か。これが見分け方になります。パラメータを少し動かしただけで成績が崩れるなら、その最高点はノイズの偶然の山です。

実際に持ち越して確かめると、差はもっとはっきりします。

	エッジ無し	エッジ有り
検証期間の最高点	0.93	1.37
同じパラメータを別期間で	0.01	0.68

エッジ無しは 0.01。何も残りません。エッジ有りは 1.37 が 0.68 まで落ちますが、これは正常です。検証期間の成績には、選んだことによる上振れが必ず乗っています。半分程度まで落ちるのはむしろ想定内で、ゼロにならなければ合格です。

ここが実務で効く部分です。

上位5点が固まっている場所の中心を採るとどうなるか、同じ条件で比べました。

採り方	別期間での年率SR（エッジ有り）
検証期間の最高点をそのまま	0.68
上位が固まっている場所の中心	0.72

最高点を捨てて、台地の真ん中を採ったほうが成績が良くなります。

理屈はこうです。最高点は「実力＋たまたま上振れたぶん」で選ばれています。上振れは次の期間には持ち越されません。一方、台地の中心は周囲の点も同じように良いので、たまたまで選ばれた可能性が低い。実力の割合が高いところを選んでいることになります。

この地形をどう定式化するか、台地の広さや傾きをどんな量で測るかは、検証コースの「パラメータ・ランドスケープの数理」で扱っています。ここでは、最高点を選ばないという結論だけ持ち帰れば十分です。

最適化の結果を1行の数字で受け取るのをやめて、必ず横に並べて見ます。

パラメータだけでなく、期間や通貨ペアをずらしても同じことができます。ずらして壊れるかを調べる手順は、検証コースの「期間・銘柄・パラメータをずらして壊す」にまとめてあります。

同じことを3つの角度から見てきました。

共通しているのは、良い数字が出たときにその数字がどうやって選ばれたかを問うという姿勢です。検証は手法を見つける作業ではなく、見つけたと思ったものを疑う作業のほうが本体になります。

そしてこの3つを全部通しても、まだ言えるのは「まぐれではなさそう」までです。コストを引いたら消えないか、実際に約定するのか、相場が変わったときに気づけるのか。そこから先はまた別の話になります。