ChatGPTの回答が毎回違うのはなぜ? 何回聞けば自社が「出ている」と言えるか

ChatGPTの回答が毎回違うのはなぜ? 何回聞けば自社が「出ている」と言えるか
目次8
  1. ChatGPTの回答が毎回違うのはなぜか
  2. 同じ質問を10回聞くと、答えはどれくらい変わるか
  3. 1回聞いて「出た」「出なかった」は、どこまで当てになるか
  4. 何回聞けば「出ている」と言えるのか
  5. 先週と比べるとき、対策の効果を見るときの数え方
  6. 自社の出現率を測る方法と、選び方
  7. よくある質問
  8. まとめ

ChatGPTの回答が毎回違うのは、故障ではありません。AIは次に続く言葉を確率で選んで文章をつくり、会社やサービスの相談では、聞くたびに違う検索クエリで違うページを読んで答えるからです。 だから、自社の名前が「出ている」かどうかは、1回聞いて決めず、同じ質問を10回聞いて「10回中何回」で見ます。先週との差や対策の効果を比べるときは、質問の数も増やします。

この記事では、答えが変わる理由と、そろえられる条件・そろえられない条件を説明したうえで、私たちが同じ質問を10回ずつ聞いて記録した結果から、1回の結果がどこまで当てになるか、何回聞けば何が言えるかをまとめます。数字は主に、私たちの毎週の計測(2026年10月12日の24問×10回)と、無料診断(社外の60件)の2つから出しています。最後に、自社の出現率(名前が出た回答の割合)の比べ方と、測る方法の選び方を書きます。

AIの答えに自社が出てこないときの原因と対策の全体は、AI検索で自社が出てこない原因と対策、AIO対策、AI検索対策(AIO・GEO・LLMO)の完全ガイドにまとめています。この記事は、その前の「いま出ているのかを、どう数えるか」の話です。

この記事のポイント

  1. 答えが毎回違うのは仕様。言葉を確率で選び、相談では毎回違う検索クエリで違うページを読む
  2. 自社が出ているかは「10回中何回」で見る。1回の結果は運で分かれる
  3. 先週との差や対策の効果は、1問ではなく多くの問の合計で比べる

ChatGPTの回答が毎回違うのはなぜか

同じ質問をしても答えが変わる理由は、大きく5つあります。最初の2つは、条件をそろえても残ります。

理由何が起きているか条件をそろえて消せるか
言葉を確率で選ぶ次に続く言葉の候補から、確率に従って1つずつ選んで文章をつくる。同じ質問でも選ばれる言葉が変わり、挙がる会社や並び順も変わる消せない
毎回検索して、違うページを読む質問を1つ以上の検索クエリ(AIが検索に使う言葉)に書き換えて検索し、見つけたページを参照して答える。検索クエリも、読むページも毎回変わる消せない
会話の履歴・メモリ前のやりとりや、保存されたメモリ(利用者について覚えていること)が答えと検索クエリに入る新しい会話・一時チャットで減らせる
位置IPアドレスから推定したおおよその位置が、検索に使われることがある同じ場所・同じ回線で聞けばそろう
モデルとその更新使うモデルや、AIごとの仕組みが違う。モデルが更新されると答えの傾向も変わる同じAI・同じモデルで、近い時期に聞けばそろう
AIの答えが聞くたびに変わる5つの理由(2026年10月時点。公式の説明は記事の下の出典)

1つ目は、文章のつくり方そのものです。OpenAIは開発者向けの説明で、出力のばらつきを決める設定(temperature)について「値を高くすると出力はよりランダムに、低くすると、より焦点が定まり決定的になる」と書いています。ChatGPTのような画面で使うAIも、この確率で選ぶしくみで文章をつくっています。

2つ目は、会社やサービスの相談でとくに大きい理由です。OpenAIのヘルプは、ChatGPTの検索について、入力された内容を「対象を絞った1つ以上の検索クエリに書き換え」て検索サービスに送り、最初の結果を見てから、さらに具体的な検索クエリを送ることがある、と説明しています。Googleも、AI Overviews(日本語の画面では「AIによる概要」)とAIモードは、関連する検索を複数行う「クエリファンアウト」という方法で答えをつくることがあり、2つの機能で表示される答えとリンクは違う、と書いています。しくみはクエリファンアウトとは?にまとめています。

私たちが同じ30問を、OpenAI と Gemini の API にそれぞれ3回ずつ送ったときは(2026年10月12日)、3回とも同じ検索クエリが使われた問は、30問のうち1問もありませんでした。 使われた検索クエリは、OpenAI で472本、Gemini で276本です。検索クエリが変われば、上位に出るページも、AIが読むページも変わります。読むページが変われば、答えに挙がる会社も変わります。

3つ目からは、利用者の側の条件です。OpenAIのヘルプによると、メモリが有効なときは、検索クエリを書き換えるときにも保存済みのメモリが使われることがあり、IPアドレスからおおよその位置を推定して検索に使うこともあります。社長のスマートフォンで聞いた答えと、担当者がパソコンで聞いた答えが違うのは、このためでもあります。

同じ質問を10回聞くと、答えはどれくらい変わるか

私たちは2026年10月から毎週、AI検索の計測や診断のサービスを探す相談を、ChatGPTとGeminiに10回ずつ聞いて記録しています(クラウド上の仮想マシンのブラウザから送信。毎回新しい会話)。11月2日の第4週までは30問で、第5週からは60問に作り直しました。ここでは、10月12日の30問のうち、会社やサービスを挙げてもらう24問で、10回の答えに挙がった会社・サービスの顔ぶれを比べました。

0問

10回とも同じ顔ぶれだった問(24問中、ChatGPT・Geminiとも)

3.2社

ChatGPTの1回の答えに挙がる会社・サービスの数(平均)

12.0社

同じ問の10回の答えに挙がった会社・サービスの数(ChatGPT、平均)

ステラジェント調べ(2026年10月12日、ChatGPT・Gemini に同じ24問を各10回=480回答。会社・サービスは本文または商品カードに名前が出たもの)

1回の答えに挙がるのは平均3.2社でも、10回合わせると平均12.0社になりました(ChatGPT。Geminiは3.4社と13.9社)。10回とも同じ顔ぶれだった問は、ChatGPTでもGeminiでも24問のうち0問でした。 最初に名前が挙がった会社が10回とも同じだった問も、どちらのAIでも0問です。10月1日と10月17日の計測でも、この2つはどちらも0問でした。

では、1つの問の中で、ある会社は10回のうち何回出るのか。問と会社の組み合わせごとに数えると、次のようになりました。

10回のうち名前が出た回数ChatGPTGemini
1回だけ47.2%(136組)45.3%(151組)
2〜4回34%(98組)40.5%(135組)
5〜7回13.9%(40組)12.3%(41組)
8〜10回4.9%(14組)1.8%(6組)
問と会社・サービスの組み合わせごとの、10回のうち名前が出た回数の分かれ方(2026年10月12日、各24問×10回。ChatGPTは288組、Geminiは333組。ステラジェント調べ)

名前が挙がった組み合わせの半分近くは、10回のうち1回だけでした。10回とも出たのは、ChatGPTで288組中5組、Geminiでは0組です。答えに名前が出ることは、「出る・出ない」の2つではなく、ほとんどの場合「何回かに1回出る」という出やすさの話になります。

揺れ方は、問によっても違います。計測ツールのおすすめを聞く問では、ChatGPTはある1社を10回とも挙げ、そのうち9回は最初に挙げました。一方、手作業の確認を任せたいという問では、10回で18社が挙がり、一番多い会社でも10回中4回でした。答えがすでに固まっている問と、まだ固まっていない問があります。

1回聞いて「出た」「出なかった」は、どこまで当てになるか

あまり当てになりません。私たちの無料診断は、1つの相談をAIごとに10回ずつ聞き、名前が出た回数を数えます。ChatGPTとGeminiの2つで聞いていた2026年10月7日〜23日の無料診断のうち、社外の方が結果まで進んだ60件の分かれ方は、次のとおりでした。

10回のうち名前が出た回数ChatGPTGemini
0回51.7%(31件)50%(30件)
1〜4回23.3%(14件)20%(12件)
5〜9回16.7%(10件)21.7%(13件)
10回とも8.3%(5件)8.3%(5件)
無料診断で、入力した会社・商品の名前が10回のうち何回出たか(2026年10月7日〜23日、社外の60件。取れなかった回は除いて数えた。ステラジェント調べ)

ChatGPTで1回以上名前が出た29件のうち、10回とも出たのは5件だけでした。残りの24件は、10回のうち1〜9回です。この24件は、1回だけ聞いていたら、聞いたときの運で「出ている」とも「出ていない」とも言えてしまいます。 Geminiでも、1回以上出た30件のうち25件が同じでした。また、ChatGPTとGeminiで出た回数が5回以上違った診断は、60件中7件ありました。どのAIで聞くかでも、結論は変わります。

出やすさが分かっていれば、1回の結果で見誤る確率も計算できます。

本当の出やすさ1回聞く3回聞く5回聞く10回聞く
10回に1回(10%)90%73%59%35%
10回に3回(30%)70%34%17%3%
10回に5回(50%)50%13%3%0.1%
本当の出やすさが分かっている会社を、何回か聞いて「1回も出なかった」となる確率(計算した値)

10回に3回出る会社でも、1回だけ聞けば70%の確率で「出ていない」と見えます。社長が1回聞いて「出なかった」と言い、担当者が聞き直したら出た。どちらも、同じ出やすさの会社で起きることです。

私たち自身の例もあります。「AI検索対策の会社に相談する前に、自社の状況をレポートにまとめてもらえるところはありますか?上司への説明に使いたいです」という相談をChatGPTに10回聞くと、AI検索ドックの名前が出たのは10回中3回でした(2026年10月23日)。1回だけ確かめていたら、出ていないと判断した可能性のほうが高い出方です。私たちが3つのAI(ChatGPT・Gemini・Copilot)に30問を10回ずつ聞いた900回の答えでも、1回だけ聞いた結果は、10回聞いた割合と平均で約30ポイントずれました(2026年10月1日。LLMO診断・AIO診断の比較)。

何回聞けば「出ている」と言えるのか

1つの問なら、10回聞くと「ほとんど出ない」「ときどき出る」「ほぼ毎回出る」の大まかな3つに分けられます。それより細かい差(30%と40%の違いなど)を言うには、問の数を増やします。

10回聞いた結果にも、たまたまの幅が残ります。同じ測り方をくり返したときに、本当の出やすさがだいたい入る範囲(統計で95%信頼区間と呼ぶもの)を計算すると、次のようになります。

聞き方結果考えられる範囲言えること
1問×1回出た21〜100%ほぼ何も言えない
1問×1回出なかった0〜79%ほぼ何も言えない
1問×10回0回0〜28%ほとんど出ない
1問×10回3回11〜60%ときどき出る
1問×10回10回72〜100%ほぼ毎回出る
10問×10回100回中30回22〜40%3割前後
30問×10回300回中90回25〜35%3割(前後5ポイントほど)
聞いた回数と結果から、本当の出やすさとして考えられる範囲(95%信頼区間、ウィルソンの方法で計算)

1回だけでは、出ても出なくても、範囲が広すぎて判断に使えません。10回聞くと、0回なら「出ても3割未満」、10回なら「7割以上」と言えます。3回なら「ときどき出る」までは言えますが、1割なのか6割なのかまでは絞れません。

比べたい差が小さいほど、問の数と回数を増やします。 30問を10回ずつ聞いて300回にすると、3割という結果の幅は前後5ポイントほどになります。ただし、これは「その30問の中での出現率」です。問ごとに出やすさは違うので、どんな問を選んだかも一緒に書き残します。1回・3回・5回で10回の結果とどれくらいずれるかの実測は、AI検索対策の効果測定にまとめています。

競合と比べるときも、この幅で考えます。1問×10回で自社が3回、競合が5回なら、範囲は11〜60%と24〜76%で大きく重なるので、差があるとは言えません。先週の3回が今週5回になった場合も同じです。2つの範囲が重ならなければ、違うと言ってよい目安になります(重なっていても差があることはありますが、1問×10回では見分けられません)。

「何回出たら出ている」と1本の線を引くより、「10回中何回」という数字のまま記録し、報告することをすすめます。上の表のように、回数によって言えることの強さが違うからです。社内に報告するときも、「出ていた」ではなく「この10問では100回中12回(12%)」と書けば、次に測ったときに比べられます。報告書のまとめ方は社長に「ChatGPTでうちが出てこない」と言われたらに書いています。

先週と比べるとき、対策の効果を見るときの数え方

1つの問の10回を、先週の10回と比べても、差のほとんどはたまたまの揺れと見分けられません。私たちの計測で、10月1日と10月12日(11日あいだを空けて、同じ問・同じ送り方)を比べると、次のようになりました。

148組

どちらかの日に10回中5回以上出た組み合わせ

76組

そのうち、11日で3回以上動いた組み合わせ

47→53%

Geminiで一番多く挙がったサービスの、24問の合計での割合

ステラジェント調べ(2026年10月1日と10月12日、ChatGPT・Gemini に同じ24問を各10回。問と会社・サービスの組み合わせごとに、10回のうち名前が出た回数を比べた)

10回中5回以上出ていた組み合わせでも、半分ほどは11日で3回以上増えたり減ったりしました。それでも、24問を合わせて見ると動きは小さくなります。Geminiで一番多く名前が挙がったサービスは、240回答の中での割合が47.1%から52.5%でした。問ごとに見ると、10回中5回増えた問もあれば、3回減った問もあります。

1問ずつの動きには、本当に変わった分と、たまたまの分が混ざっています。1問の10回では、その2つを見分けられません。比べるときは、次の条件をそろえます。

前回と比べるときにそろえる条件

  • 質問の文を1文字も変えず、同じ問の組で測っている
  • 同じAIに、同じ回数(たとえば各10回)聞いている
  • 毎回新しい会話にし、一時チャットやログインしない画面を使っている
  • 同じ場所・同じ回線から、同じくらいの時間帯に聞いている
  • 名前が出たかの数え方(本文だけか、商品のカードも入れるか)を前回と同じにしている
  • 1問ずつではなく、問の組の合計で前回と比べている
  • 測った日、AI、回数、引用元のURLも一緒に記録している

対策の効果を見るときも同じです。記事を1本足したあとに1問を聞き直して「出るようになった」と判断せず、対策の前と後で、同じ問の組を同じ回数で測って比べます。効果の確かめ方はLLMO対策の効果にもまとめています。

自社の出現率を測る方法と、選び方

ここまでの考え方をまとめると、測り方は次のとおりです。お客様がしそうな相談を、自社の名前を入れずにつくり、ChatGPT・Geminiなどに新しい会話で10回ずつ聞きます。1回ごとに名前が出たかを記録し、問ごとの「10回中何回」と、問の組の合計の「何回中何回」を出します。同じ条件で、決めた間隔で測り直して合計で比べます。質問の作り方、そろえる条件、記録表の見本は、ChatGPTに自社が出るか、自分で調べる方法にくわしく書いています。

5問を2つのAIに10回ずつなら100回、30問なら600回です。手で聞いて記録すると、1回あたり1〜2分でも、30問なら10時間以上かかります。続けて測るなら、ツールや外部の計測を使う方法もあります。

費用なし

自分で聞いて記録する

5〜10問を各10回なら、半日ほどでできます。まず自社がどの問で出やすいかをつかむのに向いています。

月額

計測ツールを使う

決めた問を、毎日や毎週、自動で聞いて記録します。長く推移を追う会社に向いています。何回ずつ聞くかはツールによって違うので、契約の前に確かめます。

1回ごと

単発の診断を頼む

問の設計から、回数をそろえた計測、レポートまでを1回で頼みます。ツールを入れる前に、いまの状態を一度測りたい会社に向いています。

私たちの AI検索ドックは、単発の診断の1つです。お客様がしそうな相談を30問つくり、3つのAI(ChatGPT・Gemini・GoogleのAIモード)に各10回ずつ聞いて、名前が出た回数、何番目に挙がったか、代わりに挙がった会社、引用元をまとめます。料金は1回30万円(税別)で、自社でAIへの見え方を測ったことがない会社や、社内に数字で報告したい担当の方を想定しています。まず1問で試したいときは、URLを入れるとChatGPT・Gemini・GoogleのAIモードに10回ずつ聞いて回数を数える無料診断も使えます。

よくある質問

ChatGPTの回答が毎回違うのは、故障や不具合ですか?

故障ではありません。AIは次に続く言葉を確率で選んで文章をつくり、会社やサービスの相談では、聞くたびに違う検索クエリで検索して違うページを読みます。同じ質問で答えが変わるのは、しくみのうえで起きることです。

一時チャットやシークレットモードにすれば、毎回同じ答えになりますか?

なりません。画面で使うChatGPTやGeminiを、毎回同じ答えにする方法はありません。新しい会話や一時チャットを使い、質問の文を変えず、同じAIで近い時期に聞くと、履歴やメモリ、位置、モデルによる違いは小さくできます。確率で言葉を選ぶことと、毎回の検索による違いは残ります。私たちの計測も毎回新しい会話で聞いていますが、10回とも同じ顔ぶれだった問は24問中0問でした。

APIで temperature を0にすれば、同じ答えになりますか?

ばらつきは小さくなりますが、完全に同じになるとは限りません。公開されているモデルを自分たちのサーバーで動かし、温度0で同じ質問を1,000回送ると80通りの答えが返った、という検証が2025年9月に公開されています(OpenAIやGoogleのAPIで試したものではありません)。主な原因は、サーバーの混み具合で一度に処理する件数が変わることでした。ChatGPTやGeminiの画面で使うときは、さらに毎回の検索による違いが加わります。

10回とも同じことを答えたら、その内容は正しいと言えますか?

言えません。何回聞いても同じ答えになることと、答えが正しいことは別です。多くのページが同じ古い情報を書いていれば、AIは毎回その情報を答えます。内容が正しいかは、引用元を開いて、公式の情報と照らして確かめます。

自社の名前が出たり出なかったりするのは、なぜですか?

自社の出やすさが「何回かに1回」だからです。私たちの無料診断の社外60件では、ChatGPTで1回以上名前が出た29件のうち、10回とも出たのは5件でした。多くの会社は、出たり出なかったりする出やすさの中にいます。

何回聞けば、自社が出ていると言えますか?

1つの問なら、10回聞くと「ほとんど出ない」「ときどき出る」「ほぼ毎回出る」の大まかな3つに分けられます。0回なら出ても3割未満、10回なら7割以上と言えます。それより細かい差を言うには、問の数を増やします。

1回だけ聞いた結果は、どれくらい当てにならないのですか?

10回に3回出る会社でも、1回だけ聞けば70%の確率で「出ていない」と見えます。私たちの900回の答えでは、1回だけ聞いた結果は、10回聞いた割合と平均で約30ポイントずれました。

出現率(言及率)はどう計算しますか?

名前が出た回答の数を、聞いた回答の数で割ります。たとえば10問を10回ずつ聞いて、100回のうち12回出たら12%です。問ごとの「10回中何回」と、全体の「何回中何回」の両方を記録し、AIごとにも分けます。

先週より出る回数が増えたら、対策の効果と言えますか?

1問の10回の差だけでは言えません。私たちの計測では、10回中5回以上出ていた組み合わせの半分ほどが、11日で3回以上動きました。同じ問の組を同じ回数で測り、合計で比べます。

ChatGPTとGeminiで結果が違うのはなぜですか?

AIごとに、検索に使う仕組み、読むページ、文章をつくるモデルが違うからです。私たちの無料診断の社外60件でも、ChatGPTとGeminiで出た回数が5回以上違った診断が7件ありました。お客様が使うAIごとに分けて測ります。AIごとの違いはChatGPT・Gemini・Copilotの違いにまとめています。

質問は何問くらい用意すればよいですか?

まず自社の出やすさをつかむなら5〜10問、細かい差を比べたり、社内に数字で報告したりするなら30問ほどが目安です。30問を10回ずつ聞くと、3割という結果の幅は前後5ポイントほどになります。

自分で測るのと、診断を頼むのとでは何が違いますか?

考え方は同じです。違うのは、問の数と回数、記録と集計にかかる手間です。30問を2つのAIに10回ずつ聞くと600回になり、手で聞くと10時間以上かかります。頼む場合は、何問を何回ずつ聞くかを、契約の前に確かめます。

まとめ

AIの答えは、聞くたびに変わるのが前提です。だから自社が「出ている」かは、1回の答えでなく、出やすさ(10回中何回)で見ます。

  • 答えが変わる理由のうち、履歴・メモリ・位置・モデルは条件をそろえて小さくできる。確率で言葉を選ぶことと、毎回の検索による違いは残る
  • 1つの問は10回聞くと、「ほとんど出ない」「ときどき出る」「ほぼ毎回出る」に分けられる
  • 先週との差や対策の効果は、同じ問の組を同じ回数で測り、合計で比べる
  • 結果は「10回中何回」「何回中何回」の数字のまま記録する

最初の一歩は、お客様がしそうな相談を1つ決めて、ChatGPTで10回聞き、名前が出た回数を数えることです。

この記事を書いた人

AI検索ドック研究チーム

AI検索ドックで、ChatGPT・Gemini・GoogleのAIモードなどの答えを調べているチームです。お客様がAIにしそうな相談をくり返し聞き、どの会社や商品の名前が出るか、AIが裏で何を検索し、どのページを引用したかを記録しています。自社の計測や業種ごとの調査、診断で集めた回答をもとに書いています。運営はステラジェント株式会社です。

関連記事

ブログの記事一覧へ「AIの仕組み」の記事をもっと見る