AI株価予想の精度を検証するには？答え合わせレポート機能を作った話

AI株価予想アプリで一番大事なのは、予想を出すことだけではありません。

むしろ重要なのは、出した予想をあとから答え合わせすることです。

AIがどれだけ自然な分析コメントを書いても、実際にその後の株価がどう動いたのかを確認しなければ、その予想が役に立ったのかはわかりません。

「上がりそう」と言った銘柄が本当に上がったのか。
スコアが高い銘柄ほど成績が良かったのか。
AIコメントで注意点として書いたリスクは実際に関係していたのか。

こうしたことを確認するために、AI株価予想アプリに答え合わせレポート機能を作ることにしました。

この記事では、AI株価予想の精度を検証するための答え合わせレポート機能について整理します。

予想するだけでは意味が弱い

AIを使えば、株価データをもとに分析コメントを作ることはできます。

たとえば、

「短期モメンタムが強い」
「出来高が増加している」
「上昇トレンドが続いている」
「一方で過熱感には注意が必要」

といったコメントは、GPTでも自然に書けます。

しかし、そのコメントが本当に役に立ったかどうかは、あとから確認しないとわかりません。

予想を出した時点では、どの銘柄もそれなりに良く見えることがあります。

特にAIは、与えられた情報をもとに説得力のある文章を作れるので、コメントだけを見ると「当たりそう」に見えてしまいます。

だからこそ、予想と結果をセットで記録する必要があります。

答え合わせレポートで見たいこと

答え合わせレポートで見たいのは、単純に「当たった・外れた」だけではありません。

もちろん的中率も大事ですが、それだけでは分析としては不十分です。

見たいのは、たとえば以下です。

• 予想した銘柄が何日後にどう動いたか
• 平均リターンはどれくらいだったか
• +2%以上になった銘柄は何件あったか
• マイナスになった銘柄はどれくらいあったか
• スコアが高い銘柄ほど成績が良かったか
• どの指標が効いていたか
• 外れた予想に共通点があるか
• 未検証の予想がどれくらい残っているか

このように、答え合わせレポートは、AI予想の精度を確認するだけでなく、次回の改善につなげるための機能です。

予想時点で保存しておく情報

答え合わせをするためには、予想した時点の情報を保存しておく必要があります。

あとから見返したときに、どんな条件で予想したのかがわからないと、検証できません。

保存しておきたい情報は以下です。

• 予想日
• 銘柄コード
• 銘柄名
• 予想時点の株価
• 総合スコア
• トレンドスコア
• モメンタムスコア
• 出来高スコア
• リスクスコア
• AIコメント
• 検証予定日
• 検証ステータス

特に重要なのは、予想時点の株価と検証予定日です。

この2つがないと、あとから何％上がったのか、いつの結果で評価するのかが曖昧になります。

検証日はどう決めるか

今回のアプリでは、まず5営業日後を評価対象にする方針にしました。

「5日後」ではなく「5営業日後」です。

株式市場は土日祝日に取引がないため、カレンダー上の5日後と、取引日としての5営業日後は違います。

たとえば、金曜日に予想した場合、単純な5日後は翌週水曜日ですが、5営業日後は土日を除いた翌週金曜日になることがあります。

そのため、答え合わせ機能では、営業日ベースで検証日を扱う必要があります。

ここを曖昧にすると、予想結果の評価がずれてしまいます。

何をもって的中とするか

答え合わせでは、何をもって「当たり」とするかも決める必要があります。

単純に株価が少しでも上がれば的中とする方法もあります。

ただ、わずかにプラスになっただけでは、実用的な意味が弱いかもしれません。

そこで、ひとつの基準として、

「5営業日後に+2%以上なら的中」

のようなルールを設定します。

もちろん、この基準は絶対ではありません。

+1%以上にするのか、+3%以上にするのか、終値で見るのか、期間中の高値で見るのかによって結果は変わります。

最初はシンプルな基準で始めて、検証結果を見ながら調整していくのが現実的です。

リターンを計算する

答え合わせレポートでは、予想時点の株価と検証日の株価を比較してリターンを計算します。

たとえば、

• 予想時点の終値：1,000円
• 5営業日後の終値：1,050円

であれば、リターンは+5%です。

逆に、

• 予想時点の終値：1,000円
• 5営業日後の終値：970円

であれば、リターンは-3%です。

このように、各銘柄ごとのリターンを計算し、全体の平均リターンや的中率を出します。

ここで大事なのは、当たった銘柄だけでなく、外れた銘柄もすべて含めて集計することです。

的中率だけに頼らない

答え合わせでは、的中率が気になります。

ただし、的中率だけで精度を判断するのは危険です。

たとえば、10銘柄中7銘柄が少し上がったとしても、残り3銘柄が大きく下がっていれば、全体のリターンは悪くなるかもしれません。

逆に、的中率は低くても、当たった銘柄の上昇幅が大きければ、平均リターンは良くなる可能性もあります。

そのため、答え合わせレポートでは、以下をセットで見たいです。

• 的中率
• 平均リターン
• 中央値リターン
• 最大上昇
• 最大下落
• +2%以上の割合
• マイナス銘柄の割合
• スコア別の成績

的中率だけでなく、リターンの大きさやばらつきも確認することが重要です。

検証ステータスを管理する

答え合わせ機能では、検証ステータスの管理も重要です。

予想を出してすぐの時点では、まだ5営業日後を迎えていないため、答え合わせはできません。

そのため、予想ごとに状態を分けます。

たとえば、

• 未検証
• 検証済み
• 検証日未到達
• 株価データ不足
• 日付形式不正
• 評価対象外

のようなステータスです。

このように分けておくと、なぜ答え合わせできていないのかがわかりやすくなります。

「検証済み0件」と出たときも、本当にデータがないのか、まだ検証日を迎えていないだけなのかを確認できます。

データ不足の扱い

株価データは、いつも完全に取れるとは限りません。

銘柄によってはデータが足りない場合があります。

また、祝日や休場日、データ取得元の仕様によって、想定した日付の株価が存在しないこともあります。

その場合は、無理に検証済みにせず、データ不足として扱う方が安全です。

答え合わせレポートでは、

「株価データ不足のため未検証」

のように状態を分けます。

これにより、精度計算に不正確なデータが混ざるのを防げます。

スコア別に成績を見る

答え合わせレポートで特に見たいのが、スコア別の成績です。

たとえば、

• 総合スコア7点以上
• 総合スコア6点台
• 総合スコア5点台

で平均リターンや的中率を比較します。

もしスコアが高い銘柄ほど成績が良いなら、スコアリングがうまく機能している可能性があります。

逆に、スコアが高くても結果が悪いなら、スコアの重みや条件を見直す必要があります。

このように、答え合わせレポートは、単に予想結果を見るだけではなく、スコアリング機能の改善にもつながります。

指標ごとの有効性を見る

スコア全体だけでなく、指標ごとの有効性も見たいです。

たとえば、

• トレンドスコアが高い銘柄は成績が良いのか
• モメンタムスコアが高い銘柄は短期で上がりやすいのか
• 出来高スコアが高い銘柄は安定しているのか
• リスクスコアが低い銘柄は下落しにくいのか

こうした分析ができると、次回のスコアリング改善に使えます。

最初に決めた指標の重みが正しいとは限りません。

予想と答え合わせを繰り返すことで、どの指標を重視すべきかが少しずつ見えてきます。

AIコメントも検証する

答え合わせでは、数値スコアだけでなく、GPTが書いたコメントも見直したいです。

たとえば、AIコメントで、

「出来高が増加している点がプラス材料」

と書いていた銘柄が、その後どう動いたか。

「過熱感に注意」

と書いていた銘柄が、実際に反落したか。

「短期モメンタムが強い」

と書いていた銘柄が、5営業日後にも上昇していたか。

このように、コメント内容と実際の結果を照らし合わせることで、GPTに渡す情報やプロンプトの改善にもつながります。

レポートとして出力する理由

答え合わせ結果は、CSVや表として保存するだけでなく、レポートとして出力したいです。

理由は、あとから見返しやすくするためです。

たとえば、レポートには以下のような内容を入れます。

• 今回の検証対象件数
• 検証済み件数
• 未検証件数
• 平均リターン
• 的中率
• 上位銘柄の結果
• 外れた銘柄の特徴
• スコア別の成績
• 次回改善したい点

このようにまとめると、ブログやメルマガ、YouTube台本にも展開しやすくなります。

アプリの出力がそのまま発信素材になるのは、かなり便利です。

ブログとの相性

答え合わせレポート機能は、ブログとの相性も良いです。

予想した銘柄の結果をあとから検証し、記事として残せるからです。

たとえば、

• 5営業日前のAI予想は当たったのか
• スコア上位銘柄の平均リターン
• 的中率が高かった条件
• 外れた予想の振り返り
• スコアリングを改善した結果

といった記事が作れます。

ただし、ここでも重要なのは、売買推奨ではなく検証ログとして扱うことです。

当たった予想だけを強調するのではなく、外れた予想や改善点も書く方が、ブログとして信頼感が出ます。

答え合わせで見えてくること

答え合わせを続けると、いろいろなことが見えてきます。

たとえば、

• スコアが高くても外れることがある
• 出来高条件は意外と重要かもしれない
• モメンタムを強く評価しすぎると過熱銘柄が増える
• リスク条件を入れると下落銘柄を減らせるかもしれない
• 市場全体の地合いも考慮した方がよい

こうした気づきは、予想だけでは得られません。

答え合わせをするからこそ、改善点が見えてきます。

AI株価予想アプリの精度を上げるには、AIの出力をそのまま信じるのではなく、結果を検証して改善するサイクルが必要です。

最初は完璧でなくていい

答え合わせレポートも、最初から完璧である必要はありません。

まずは、

• 予想を保存する
• 検証日を決める
• 検証日に株価を取得する
• リターンを計算する
• 的中判定をする
• 集計する

この基本ができれば十分です。

そこから少しずつ、スコア別集計、指標別集計、セクター別集計、ブログ用出力などを追加していけばよいと思っています。

個人開発では、最初から全部作ろうとせず、まず検証サイクルを回せる状態にすることが大事です。

今後改善したいこと

今後、答え合わせレポートでは以下を改善していきたいです。

• スコア別の成績を見やすくする
• 指標別の有効性を集計する
• セクター別の成績を見る
• 市場全体との比較を入れる
• 外れた予想の原因を分類する
• GPTに検証コメントを書かせる
• ブログ用Markdownを自動生成する
• メルマガ向けレポートを作る
• YouTube台本に変換する

特に、予想だけでなく検証結果まで文章化できるようにすると、発信にも使いやすくなります。

まとめ

AI株価予想アプリでは、予想を出すだけでは不十分です。

大事なのは、出した予想を記録し、あとから答え合わせして、精度を検証することです。

答え合わせレポートでは、

• 予想日
• 検証日
• 予想時点の株価
• 検証日の株価
• リターン
• 的中率
• 平均リターン
• スコア別の成績
• 未検証データの状態

などを確認します。

この仕組みがあることで、AI予想をその場限りで終わらせず、改善につなげることができます。

AI株価予想アプリで目指しているのは、単に「当たる銘柄を出す」ことではありません。

予想して、記録して、答え合わせして、改善する。

このサイクルを回せるアプリにしていきたいと思っています。

※この記事は、AIを使ったアプリ開発とデータ分析の記録です。特定の銘柄の売買をすすめるものではありません。投資判断はご自身の責任で行ってください。