AIの回答はなぜ毎回変わるのか：1回の結果で判断しない計測の設計

AIの回答は、同じ質問でも毎回変わります。文章を確率的に組み立てること、検索するかどうかを毎回AI自身が決めること、検索結果そのものが時間で変わることが重なるためです。だから1回の結果では判断せず、同じ条件で繰り返し測った割合で見ます。

AIの回答が変わる理由は何ですか？

AIの回答が変わる理由は、文章の組み立てが確率的であること、検索するかをAIが決めること、検索結果そのものが変わることの3つです。

1. 文章の組み立てが確率的だから

生成AIは、次に来る言葉を確率で選びながら文章を作ります。同じ質問でも、挙げる候補の数や順番、言い回しが毎回少しずつ変わります。

2. 検索するかどうかをAIが決めるから

ウェブ検索を「使ってよい」設定にしても、実際に検索するかは質問ごとにAIが判断します。当社の計測でも、同じ設定で投げた質問のうち、検索したのは約半分でした。検索しなかった回は、学習済みの知識だけで答えるので、根拠のリンクも付きません。

3. 検索結果そのものが変わるから

検索した回でも、検索結果は時間で入れ替わります。GoogleのAI概要は、同じ検索語でも数時間で推薦されるブランドや出典が入れ替わることがあります。

アプリで見る回答と、計測の回答は同じですか？

アプリで見る回答と計測の回答は、同じとは限りません。計測ツールがAIに質問するときは、多くの場合API（プログラムからの呼び出し）を使います。利用者がアプリで見る回答は、ログイン状態・会話の履歴・地域などでさらに変わるため、計測の結果と、ある利用者の画面が一致するとは限りません。計測が示すのは「同じ条件で聞いたときの傾向」です。

1回の結果で判断しないには、どう測ればよいですか？

1回の結果で判断しないには、状態を割合で見て、質問 × AI で数え、変化を前後の窓で比べ、失敗を分母に入れない設計にします。

• 状態は割合で見る：「出たか」ではなく「直近7日の回答のうち何割に出たか」
• 質問 × AI で数える：質問単位で「どれかのAIで1回でも出たか」にすると、測る回数が増えるほど全部「出た」になってしまいます。「ChatGPTでは一度も出ていない」が分かる単位にします
• 変化は前後の窓で比べる：施策の公開前の数週間で揺らぎの幅を知り、公開後の数週間と比べます。公開前の幅に収まる変化は「変わった」と読みません
• 失敗・未計測を分母に入れない：取れなかった回を「出なかった」に数えると、障害や取得待ちで数字が動きます

回答の揺らぎは欠点ではなく、AI検索の性質です。1回の結果に一喜一憂せず、同じ条件で測り続けることで、初めて施策の効果が見えるようになります。