一般社団法人AI検索可視性標準化協会

「AI検索可視性測定に関する基本的な考え方」を公表しました

一般社団法人AI検索可視性標準化協会は、このたび、「AI検索可視性測定に関する基本的な考え方」を取りまとめました。

ChatGPT、Gemini、Claude、Perplexity等の生成AI・AI検索サービスの普及により、人々が企業、商品、サービス、情報等を発見・比較・選択する方法は大きく変化しています。

これに伴い、AIの回答上で企業や商品・サービス等が「どの程度出現しているのか」「どのように引用・紹介・推奨されているのか」といった、AI検索における可視性を把握・評価する重要性が高まっています。

一方、生成AIの回答には、従来の検索エンジンとは異なる特性があります。同じ質問を行った場合でも回答内容が変化することがあるほか、質問・プロンプトの設計、利用するAIプラットフォーム、AIモデル、測定時期や測定条件等によっても結果が異なる可能性があります。

このため、AI検索可視性を測定する際には、単純に一度の回答結果だけを見るのではなく、AI検索特有の性質を踏まえた測定の考え方が必要です。

当協会では、国内外における研究・議論やAI検索の特性等を踏まえ、現時点で特に重要と考える以下の6つの基本的な考え方を整理しました。

AI検索可視性測定に関する6つの基本的な考え方

1.AI検索可視性は「確率的なもの」として測定する

生成AIの回答は、同じ質問に対して常に同じ結果を返すとは限りません。

一度の回答を確定的な結果として扱うのではなく、複数回の測定等を通じて回答の変動を把握し、確率的・統計的に評価することが重要です。

2.質問・プロンプト設計の妥当性と透明性を確保する

AI検索可視性の測定結果は、どのような質問を用いるかによって大きく変化します。

どのような利用者、検索目的、検索意図等を想定し、なぜその質問を測定対象としているのかを明確にすることが重要です。

3.複数のAIプラットフォームを対象とし、それぞれの違いを把握する

AIプラットフォームごとに、モデル、情報取得方法、回答生成方式等は異なります。

AI検索全体の可視性を把握する場合には、単一のAIだけで判断するのではなく、複数の主要AIプラットフォームを対象とし、それぞれの結果の違いを把握することが重要です。

4.測定条件を明確にし、継続的な比較可能性を確保する

AI検索の回答は、AIモデルの更新、検索機能の変更、測定時期、測定環境等によって変化する可能性があります。

継続的な測定を行う場合には、使用したAIサービス・モデル、測定日時、検索条件等を記録し、測定結果を比較できる状態を確保することが重要です。

5.測定目的に応じた適切な精度で結果を評価する

大まかな傾向を把握するための測定と、重要な意思決定に利用する測定では、求められる測定精度は異なります。

測定結果を何のために使用するのかを明確にし、その目的に応じた質問数、反復測定、再現性等を確保するとともに、測定結果を過度に精密な確定値として扱わないことが重要です。

6.測定方法と基礎データの透明性を確保する

AI検索可視性を総合スコア等で表す場合であっても、その数字がどのように算出されたのかを確認できることが重要です。

測定対象、指標の定義、質問設計、対象AIプラットフォーム、算出・統合方法等について、可能な限り透明性を確保することが求められます。

本資料の位置づけ

「AI検索可視性測定に関する基本的な考え方」は、特定の測定方法を「日本標準」や「ガイドライン」として定めるものではありません。

AI検索・生成AIを取り巻く技術や利用環境は急速に変化しており、AI検索可視性の測定手法についても、世界的に研究・議論が進められている段階にあります。

当協会では、特定の測定方法を早期に固定するのではなく、国内外の研究・業界動向の調査、実際の測定を通じた検証、関係者との議論等を重ねながら、客観性、透明性、再現性の高いAI検索可視性測定方法の確立に向けた研究を進めてまいります。

資料

「AI検索可視性測定に関する基本的な考え方」を見る(PDF)(新しいタブで開きます)

PDF・全4ページ