2人のレポートを並べる

2人とも、データは同じです。USDJPY(ドル円)の1分足から作り直した15分足で、時刻はJST、日足の境界は 06:00 JST。 AさんとBさんは「東京時間の高値・安値を、ロンドン勢が参加する時間に抜けると伸びやすい」というまったく同じアイデアから出発しました。 コストは往復で通常0.4 pips・悪化1.0 pips・ストレス2.0 pips(スプレッドと滑りを含む)で計算しています。

項目Aさん(過剰最適化・探索型)Bさん(事前登録・検証型)
試行回数N57,662(グリッド57,600、フィルタ50、検証期間を見た乗り換え12)1(事前登録の1通り)
選び方探索期間2005〜2016年で総pips最大(100件以上)→ PF基準でフィルタを追加 → 検証期間でIS上位12案から乗り換えルール・コスト・合格ラインを計算前に登録。近傍は確認だけで選択に使わない
選ぶときの約定とコストシグナル足の終値・コスト0次の足の始値・3段階のコスト
探索(学習)期間の成績報告値(終値・コスト0):351件、1取引 +8.65 pips、勝率59.5%、PF 1.83、年率Sharpe 1.18、DSR 0.421,893件、−0.14 pips、95%CI [−1.71, +1.42](通常コスト)
試行回数を差し引くとDSR 0.42(探索期間、N=57,662)DSR 0.40(探索期間、N=1)
比較対象・置換検定(探索期間)無作為な日の同時刻の買いに p=0.000 で勝つが、置換データで最適化ごとやり直すと p=0.155方向だけ無作為(C1)に p=0.056、置換検定1 p=0.411
検証期間(2017〜2022年)190件、+3.55 pips [−1.20, +8.30]、DSR 0.002(通常コスト)914件、+1.57 pips [−0.42, +3.57](通常コスト)
最終テスト 2023-01〜2026-07163件、+5.61 pips [−1.76, +12.98]、悪化コストCI下限 −2.36、DSR 0.002、比較対象 p=0.174、置換検定2 p=0.21、4年中3年プラス561件、+4.42 pips [+0.39, +8.46]、悪化コストCI下限 −0.21、DSR 0.981、C1 p=0.084、置換検定2 p=0.007、4年すべてプラス
判定事前の区分では形式上保留(5項目中1項目)。上級コースの区分なら棄却保留(5項目中3項目)。合格ラインは緩めず、ルールを変えずにデモのフォワードへ
利益の中身稼いだのは主にドル円の上昇。上位の案はすべて「買いのみ」「抜けた方向に入ったから」か「その時間に持っていたから」かを、まだ区別できていない(C1 p=0.084)
報告に書いたもの最良の1通りの勝率・PF・Sharpeと滑らかな損益曲線N、DSR、比較対象との差、信頼区間、年×時間帯のヒートマップ、却下案

損益曲線だけを並べると

レポートの冒頭によく置かれるのが損益曲線です。AさんとBさんの曲線を、同じ条件(次の足の始値・往復0.4 pips)で2005年から並べると、下の図になります。

累積損益(pips、次の足の始値で約定・往復0.4pips) 探索 2005–2016 検証 2017–2022 最終 2023– -4,000 -2,000 0 2,000 4,000 6,000 pips 2005 2008 2011 2014 2017 2020 2023 2026 Aさん(57,662通りから選んだ最終案) Bさん(事前登録の1通り)
Aさんは3期間を通じてプラスだが、稼いだのはドル円の上昇局面。Bさんは探索期間でほぼゼロ、最終テストで増えた(USDJPY 15分足、次の足の始値・往復0.4pips、N_A=57,662・N_B=1)

曲線だけなら、Aさんのほうがずっと良い戦略に見えます。ところが表の下半分を見ると、Aさんの利益は「同じ時刻に無作為な日に買う」ことにも、値動きを並べ替えた相場で同じ最適化をすることにも勝てていません(最終テストで p=0.174、p=0.21)。 Aさんは3期間を通じて勝ち続けましたが、それはルールの細部の実力ではなく、ドル円を買っていたことの結果でした(第1回)。

参考:テスターと口座の乖離(第9回のスキャルEA)

参考:スキャルEAの累積損益(テスターと口座の乖離) 学習 2025年(最適化) 運用 2026年1–6月 -15,000 -10,000 -5,000 0 5,000 pips 0 2,000 4,000 6,000 8,000 10,000 12,000 取引の番号 → テスターの上(終値約定・スプレッド0) 口座(次の足始値・往復0.4pips) 口座(往復1.0pips)
同じルールでも、約定とコストの前提だけで右肩上がりが右肩下がりになる。取引13,828回、1回あたりの優位はテスター上でも+0.14pips(USDJPY 5分足、学習2025年・運用2026年1〜6月、N=3,456通りから選択)

第9回で取り上げた高頻度スキャルEAの曲線は、どちらの前提で描くかで向きが逆になります。販売されているEAのレポートに載っているのは、多くの場合、金茶の線(テスター)のほうです。

最終テストを年別に並べると

最終テスト:年別の1取引あたり平均(pips、往復0.4pips) Bさん Aさん -5 0 5 10 15 pips/取引 +1.3 2023 B -2.3 2023 A +6.2 2024 B +14.2 2024 A +5.4 2025 B +4.4 2025 A +5.3 2026 B +2.3 2026 A
2026年は1〜7月。Bさん(金)は4年ともプラスだが、事前に決めた5項目のうち2項目が不合格で「保留」。Aさん(灰)は2024年の円安で稼いだ(1取引あたり平均、往復0.4pips)

一度も見ていないデータでの成績も、1本の数字には運が混じります。Bさんは4年すべてプラスでしたが、悪化コストでの信頼区間の下限(−0.21)と比較対象との差(p=0.084)が事前の合格ラインに届きませんでした。 「惜しいから採用」としないことが、このコースで一番伝えたかった手順です(第17回)。Bさんは保留のまま、ルールを変えずに2026年8月以降のデモで確かめています(第18回)。

どの時点で捨てられたか

レポートを並べると、「どこで気づけば一番安く済んだか」も見えてきます。

早い段階の検査ほど安く、未使用のデータを消費しません。最終テストやフォワードは、取り戻すのに年単位の時間がかかる、一番高い検査です。高い検査は、安い検査を全部通ったものにだけ使います。

採用前チェックリスト30項目

このコースの内容を、戦略を採用する前に確かめる30項目にまとめます。6つの分類(設計・データ・試行・検定・未知のデータ・運用)に5項目ずつで、右端の列は上級コースの12段階のゲートとの対応です。 1つでも「いいえ」があれば、その項目を後の項目の好成績や大きな資金配分で埋め合わせません。

分類No.確認項目回ゲート
設計1ルールの理由と反証条件(何が起きたら外れか)を、結果を見る前に書いて日付を残した061
設計2伸びたチャートを集めてからルールを作っていない。条件に合う場面をすべて数えた051
設計3時刻を相場参加者の現地時刻で定義し、夏時間を処理した061・3
設計4両方向を対称に検証した。片方向にするなら、その理由を結果の前に書いた06・101
設計5比較対象(買い持ち、方向を無作為にした売買など)を結果の前に決めた06・101
データ6探索・検証・最終テストの期間を最初に分け、封印を開けるルールを書いた077・12
データ7見送り日と欠損の扱いを結果の前に決め、成績の悪い日を後から外していない073
データ8タイムゾーン、日足の境界、週末のギャップの位置を確認した06・073
データ9シグナルは確定した足で判定し、次の足の始値で約定させた(先読みがない)093
データ10コストを通常・悪化・ストレスの3段階で、1回目の計算から入れた093・4
試行11実行する前にNを更新し、却下した案も記録した082
試行12期間・通貨ペア・方向・時間足・除外日の選択もNに数えた03・082
試行13全候補を同じ条件で比べ、全結果を保存した。報告にN・DSR・コスト・時刻規約・却下案を書いた08・194
試行14検証期間を見た回数を数えた。見て直したら、その都度N+1にした07・082
試行15ウォークフォワードの窓の長さや方式を、結果を見て選んでいない152・8
検定16損益の絶対値ではなく、比較対象との差で評価した106
検定17最良の1点ではなく、近傍の中央値と下位の成績で選んだ115
検定18置換データで最適化ごとやり直し、実データの成績が埋もれないか確かめた126・8
検定19平均の95%信頼区間、年別の成績、DDの分布を併記した。n<30は「サンプル不足」と書いた136・9
検定20生のSharpeとDSRを並べ、DSRが0.95未満なら採用しない146
未知のデータ21再最適化する戦略は、その手順をウォークフォワードで検証した157・8
未知のデータ22別の期間・別の通貨ペアでは、ルールを固定したまま比較対象との差を見た169・10
未知のデータ23合格ライン・判定区分(棄却の条件を先に)・判定後の行動を書いてから、最終テストを1回だけ開けた1712
未知のデータ24コスト3段階・比較対象・置換検定2・DSR・年別を、一度にまとめて計算した1712
未知のデータ25落ちたら同じ期間で再挑戦せず、新しい仮説としてNを足し、新しいデータを待つ1712
運用26デモ→少額→通常配分の順で進め、段階を上げる条件を件数と局面で決めた1812
運用27停止基準(損益、DD、大きな勝ち・負けの頻度、比較対象との差、テスターと口座の差)を運用前に決めた1812
運用28シグナル時刻・想定価格・実約定価格・スプレッド・滑り・介入を1取引ごとに記録した1812
運用29負けに合わせてルールを直さない。直すなら新しい仮説として別のIDを付ける1812
運用30資金配分の上限を、DDの分布とストレスコストから決めた13・1811

上級コースの12のゲートには、このコースで扱わなかった検査(CPCV、PBO、SSR、レジーム別の評価、Kellyによる資金配分)も含まれます。表のゲート番号は「このコースの項目が、どのゲートの入り口にあたるか」を示すもので、30項目を満たせば12のゲートを通ったことにはなりません。 また、30項目すべてに「はい」と答えられても、それは勝てることの保証ではありません。チェックリストが守るのは、「勝てるように見えて実は勝てない戦略」を採用してしまう誤りです。

1つの聖杯より、理由の違う単純な戦略を複数持つ

過剰最適化は、1つの戦略に「全部の相場で勝つこと」を求めるほど起きやすくなります。負けた時期を見てフィルタを足し、負けた方向を外し、負けた月を除く。Aさんがやったことは、1つのルールを聖杯に近づけようとする作業でした。 別の道は、理由の違う単純な戦略を複数持ち、それぞれが負ける時期がずれることで、全体の負けを浅くすることです。

クオンツの教育者 Roman Paolucci は、動画「No. You don't need to backtest a trading strategy.」(Quant Guild, 2026)で、直交する収益源という考え方を紹介しています。 直交とは、2つの収益の動きがほとんど関係しない(相関がほぼ0の)ことです。動画では、米国株のETF(SPY)と、マネージド・フューチャーズ型のETF(DBMF)の収益の関係を表す R² がほぼ0で、半分ずつ持つと最大DDが約25%から約15%に下がった、という例が示されます。 ただし、この数値は2019年以降の短い期間のもので、動画には講座の宣伝も含まれます。ここでは考え方の例としてだけ使い、根拠にはしません。

第13回で批評した Turnaround Tuesday の動画(Unbiased Trading、データ提供元の Public から報酬を受けたと動画内で開示)も、同じ見方で読めます。 この戦略は5年で約57%と、SPYの買い持ち(約73%)に負けました。それでも動画の作者が価値を認めたのは、市場に居る時間が約10%で、最大DDが約8%(SPYは約25%)と小さく、下落局面で強かったからです。 市場に居ない90%の時間は、資金を別の戦略に使えます。1つの戦略として一番儲かるかどうかではなく、他の戦略と組み合わせたときに全体の負けを浅くするかどうかで価値を測る、という見方です。 ただし44件・5年・1市場の結果であることは、第13回で見たとおりです。

負ける時期がずれる戦略を組むと、全体の下げが浅くなる(模式図) 戦略X(理由1) 前半に深い下げ 戦略Y(理由2) 後半に深い下げ XとYを半分ずつ 下げが浅くなる + = 同じ理由を別の通貨ペアに広げても、負ける時期は重なりやすい (Bさんのルールの日次損益の相関は、ドル円・ユーロ円・ポンド円の間で0.35〜0.43)
組み合わせで下げが浅くなるのは、戦略の理由が違い、負ける時期がずれるときだけ。どちらの戦略も、単独で同じ検証を通っていることが前提

このコースのデータで確かめると

ルール(売買の条件)、戦略(ルールに資金管理と運用の手順を加えたもの)、運用ポートフォリオ(複数の戦略の組み合わせ)の3つの層の違いは、トレード日誌コース第3回「ルール・戦略・運用ポートフォリオの違い」で扱っています。 組み合わせは、個々の戦略の過剰最適化を消してはくれません。それぞれの戦略が、単独でこのコースの手順を通っていることが前提です。

他人の成績を読む10の質問

EAの販売ページ、SNSの成績報告、書籍のバックテスト。他人の成績を見るときは、自分で検証する時間がない場合がほとんどです。 そこで、次の10の質問を投げかけます。答えが書かれていない、または答えられない質問が多いほど、その成績は判断の材料になりません。

No.質問聞く理由回
1何通り試して、この1つを選びましたか試した数が多いほど、偶然でも良い最良の成績が出る。Aさんの報告値は年率Sharpe 1.18 でも、DSRは0.42だった03・08・14
2約定はどの価格で、スプレッド・滑り・手数料はいくらで計算しましたか終値約定・スプレッド0のテスターでは、第9回のスキャルEAのように口座で崩れる案が「最良」になる09
31取引の平均は何pipsで、取引数はいくつですか。平均の95%信頼区間は総pipsや勝率では、コストに耐えるかも、偶然の範囲かも分からない09・13
4検証期間はいつからいつで、なぜその期間ですか。その前後はどうでしたか期間の選択も試行。都合の良い期間だけを切り取れば、どんな成績も作れる03・07・16
5何と比べましたか(買い持ち、方向を無作為にした売買など)ドル円が上がった時期の買いは、ルールがなくても儲かった10
6年別・局面別の成績と、ドローダウンの分布はどうでしたか1本の損益曲線と最大DDは、起こり得た経路の1本にすぎない13
7ルールを決めた後に、一度も見ていないデータで何回試しましたか未使用データを何度も見て選べば、それは学習データと同じになる07・17
8フォワードの成績は、口座の実績ですか、テスターの再計算ですか。第三者が確かめられますかテスターで後から回した成績は、フォワードではない18
9やめた戦略、却下した案、販売をやめたEAはいくつありますか生き残ったものだけが見えていると、成績は実際より良く見える(生存者バイアス)04・08
10この成績を見せることで、あなたは何を得ますか販売・報酬・紹介料がある人は、良い成績を見せる理由を持っている。利害があること自体は悪ではないが、開示されているかを見る13

たとえば、第9回で見たスキャルEAを販売ページに載せるとしたら、見せられるのは「運用6か月でも +1,397 pips、右肩上がりの損益曲線」です。嘘は1つもありません。テスターの上では本当にそうだったからです。 ところが質問1(3,456通りから選んだ)、質問2(終値約定・スプレッド0)、質問3(1取引 +0.14 pips)を聞いた時点で、判断は大きく変わります。 他人の成績を読むときに疑うべきは、多くの場合、数字の真偽ではなく、数字が作られた条件です。 生存者バイアスなど、成績を読む側がはまりやすい偏りについては、トレード心理コースの認知バイアスの回も参考になります。

次に学ぶこと

このコースの柱は4つでした。結果を見る前に決める、試した数を数える、手元のデータで壊す、未使用のデータは1回だけ使う。 Arnott, Harvey, Markowitz の論文(2019)は、7つの分類の最後に「研究文化」を置き、健全な文化は「ほとんどの実験は良い結果を出さずに失敗する」と最初から期待する、と書いています。 Bさんの保留も、Aさんの形式上の保留(実質的な棄却)も、このコースにとっては失敗ではなく、手順が正しく働いた記録です。

よくある間違い

「最終テストの平均が一番高いAさんが、一番良い戦略」

最終テストの平均はAさんが +5.61 pips で最も高くなりました。しかし信頼区間 [−1.76, +12.98] はゼロを含み、DSR は 0.002、比較対象にも置換検定にも勝てていません。 一度も見ていないデータの成績でも、1つの数字だけでは運と実力を分けられません。

「Bさんは保留だったので、良い手順は無駄だった」

良い手順の目的は、勝つ戦略を作ることではなく、判断を誤らないことです。Bさんは「惜しいから採用」も「落ちたから直して再挑戦」もせず、保留を保留のまま書きました。 その結果、失ったのは最終テストのデータ1回分だけで、次に何をすればよいか(新しいデータを待つ)もはっきりしています。

「30項目をすべて満たせば、勝てる戦略になる」

チェックリストは必要条件で、十分条件ではありません。30項目が防ぐのは「勝てるように見えて、実は勝てない戦略」を採用する誤りです。すべて満たしても、フォワードで確かめ、停止基準で見張り続けます。

「戦略の数を増やせば、1つ1つの過剰最適化は気にしなくてよい」

過剰最適化された戦略をいくつ並べても、負ける戦略の集まりにしかなりません。また、同じ理由の戦略を増やしても、負ける時期は重なります。組み合わせは、単独で検証を通った、理由の違う戦略どうしで行います。

実戦課題

修了課題として、自分の戦略(またはEAの販売ページなど、公開されている成績)を1つ選び、次の3つを作ってください。

  1. レポートの表を作る:この回の2人の表と同じ項目(試行回数N、選び方、約定とコスト、各期間の1取引の平均と95%信頼区間、DSR、比較対象、置換検定、最終テスト、判定、利益の中身、報告に書いたもの)で1列を埋めます。埋められない欄は「不明」と書きます。
  2. 30項目に答える:採用前チェックリストの各項目に「はい/いいえ/不明」で答えます。「いいえ」と「不明」が、次にやるべき検査の一覧です。
  3. 10の質問を投げる:他人の成績なら、10の質問のうち、答えが公開されているものに印を付けます。答えのない質問が半分を超えたら、その成績は判断の材料にしません。
  4. 次の行動を1つ決めて記録する:採用候補ならデモの計画書(第18回)、保留なら待つデータの件数、棄却なら記録して終了。日付を付けて研究ログに残します。

やるべきこと/やるべきでないこと

やるべきことやるべきでないこと
N・DSR・コスト・却下案・時刻規約をレポートに併記する最良案の勝率とPF、損益曲線だけを示す
安い検査(コスト、比較対象、置換、DSR)で早く捨て、最終テストは最後に1回だけ使う手元の検査を省いて、最終テストやフォワードで確かめようとする
保留や棄却も、そのまま記録して公開する良い結果が出た戦略だけを報告する
理由の違う単純な戦略を、それぞれ同じ手順で確かめてから組み合わせる1つのルールにフィルタを足し続けて、聖杯に近づけようとする
同じ理由の戦略を別の通貨ペアに広げたら、損益の相関を確かめる通貨ペアを増やしただけで分散したと考える
他人の成績は、数字が作られた条件(N・約定・コスト・期間)から読む右肩上がりの損益曲線と高い勝率で判断する

チェックリスト

コースを修了する前に、以下が自分の言葉で説明できるか確認してください。

修了テスト

コース全体から8問です。不正解なら別の選択肢を選び直せます。正解すると解説が表示されます。

Q1. 最終テスト(2023-01〜2026-07、通常コスト)の1取引の平均は、Aさん +5.61 pips、Bさん +4.42 pips でした。正しい読み方は?

未使用データの成績でも、1つの数字には運が混じります。Aさんの利益は主にドル円の上昇で説明でき、57,662通りから選んだことを差し引くと偶然の範囲に収まります。

Q2. 第9回のスキャルEAの手順を39回繰り返すと、テスター上は運用6か月が36回プラスでした。口座の条件(次の足の始値・往復0.4 pips)では31回がマイナスです。ここから言えることは?

このスキャルEAは学習期間も口座の条件では1取引 −0.277 pips で、初めから取引できるエッジではありませんでした。未使用データの検証は、口座と同じ条件で行って初めて意味を持ちます。

Q3. 第9回のスキャルEAの学習期間は、N=3,456 で計算した DSR が 0.053 でした。試した数を隠して「1通りだけ試した」と偽ると、同じ成績の DSR はいくつに見えるか?

同じ成績でも、何通り試したかで評価はまったく変わります。だから他人の成績を読むときは、最初に「何通り試したか」を聞きます。

Q4. 最終テストで「保留」になったBさんが、次にやるべきことは?

保留は「今あるデータでは決められない」という判定で、次の行動は新しいデータを待つことです。同じ期間で直して試せば、その期間は学習データに変わります。

Q5. 採用前チェックリストの「設計」の分類で、結果を見る前に書くべきものの組み合わせは?

設計の段階で結果を見ていないことが、その後のすべての検査の前提になります。Bの項目は、結果を見て選ぶことそのもので、どれも試行回数Nに入ります。

Q6. Turnaround Tuesday の戦略は5年で約57%と、SPYの買い持ち(約73%)に負けました。それでも価値があり得る理由として、動画が挙げたのは?

1つの戦略として一番儲かるかではなく、組み合わせたときに全体の負けを浅くするかで価値を測る見方です。ただし44件・5年・1市場の結果で、勝率や規則性が続くことは言えません(第13回)。

Q7. Bさんのルールをユーロ円・ポンド円にそのまま当てると、日次損益の相関は0.35〜0.43でした。ここから言えることは?

分散の効果が大きいのは、理由が違い、負ける時期がずれる戦略どうしです。しかも最終テスト期間では、ユーロ円 +0.10 pips、ポンド円 +0.11 pips で、ドル円のような差は出ませんでした。

Q8. EAの販売ページに「勝率・PF・右肩上がりの損益曲線」だけが載っていた。最初に確かめるべき質問の組み合わせは?

疑うべきは数字の真偽より、数字が作られた条件です。スキャルEAのテスター上の +1,397 pips も嘘ではありませんが、3,456通りから選び、終値約定・スプレッド0で、1取引 +0.14 pips という条件を聞けば判断は変わります。

★ コース修了者限定プレゼント

戦略過剰適合&ロバストネス監査システム「QuantGuard」

過剰最適化対策コース全19回の完走、誠におめでとうございます!
修了記念として、本コースで学んだ数理モデル(PBO・DSR・モンテカルロ資産ファンチャート)を、あなた自身の戦略やEAにそのまま適用できる専用Web監査システム「QuantGuard」をプレゼントします。
MT4/MT5やTradingViewのトレード履歴をドロップするだけで、その戦略がOOS(実運用)で破綻するリスクを完全診断します。

🛡️ QuantGuard を起動して自分の戦略を監査する →

※QuantGuardは受講者限定特典ツールです。全機能のご利用には無料会員登録(メール登録・10秒)が必要です。