小売LLMO研究所このサイトについて

このサイトについて｜調査方法と指標の読み方

小売LLMO研究所の調査方法、観測対象、カバー率・1位率・Top3率など各指標の定義とデータの読み方を説明します。

子どもがいる4人家族の買い替え

夫婦と子ども2人の4人家族が、主要家電を買い替える際の推薦・販売元露出を観測する。

表示中

このサイトについて

生成AIが「どの家電量販店・ECサイトを購入先として提示するか」を、同じ質問で繰り返し観測し、その結果だけを機械的に集計して公開している定点観測ダッシュボードです。

何を観測しているか

あらかじめ固定したペルソナ（想定する買い物客）と質問文を用意し、ChatGPTのWeb画面で実際に質問します。回答本文、引用・情報源、表示された商品カード、その商品の販売元として並んだショップ一覧を、表示された順序のまま記録します。

順位の決め方

1つの質問の中で、各ショップを次の順に並べたものをそのショップの順位としています。

  1. その回答で、そのショップが販売元として紐づいた商品の数が多い順
  2. 同数なら、販売元一覧での表示位置が上だった順
  3. それも同じなら、販売元としての表示回数が多い順

指標はいずれも「観測できた質問数」を母数とした割合です。

  • カバー率：回答に1度でも登場した質問の割合
  • 1位率：その質問で最上位に並んだ割合
  • Top3率：上位3位以内に入った割合

読むときの注意

  • 生成AIの回答は同じ質問でも毎回変わります。1日の観測はその時点のスナップショットであり、順位の上下がそのまま施策の効果を意味するとは限りません。
  • 集計対象はChatGPTのみです。他の生成AIの傾向は含みません。
  • 価格・在庫・配送の表記は、AIの回答画面に表示されていた文字列をそのまま記録したものです。各ショップの実際の販売条件とは異なる場合があります。
  • 商品名・ショップ名は表記揺れを名寄せしています。名寄せの判断は調査の一次記録側に残しています。
  • 本ダッシュボードは各ショップの優劣や品質を評価するものではなく、AIの回答上での見え方だけを記録しています。

更新

観測を実施するたびにデータを追加し、日次で推移を積み上げています。「最終更新」は最後に集計した時刻です。

※ 記載の商品・サービス名は各社の商標または登録商標です。