自社サイトの記事タイトルを変更したところ、今回は ChatGPT に引用されたのに、次回は引用されない。Claude に切り替えると、また違う結果になる。コンテンツチームが何度かテストすると、AI は特定の書き方を好むと判断し、記事全体のタイトルを一斉に変更してしまいがちです。しかし、質問の仕方、候補となる参照元、ユーザー像が毎回異なれば、結果に影響したのがタイトルなのか、それともテスト条件の変化なのかを確認できません。
企業が最新のタイトル作成テクニックを急いで追いかける必要はありません。まずは、繰り返し実行でき、テスト結果を比較でき、なおかつ担当者が承認する AI 引用テストのプロセスを構築すべきです。毎回同じ質問、参照元、評価方法を用いてテストし、モデル、バージョン、日付、回答全文を記録します。意思決定の根拠として十分な結果が蓄積されてから、変更するかどうかを判断します。
1回のシミュレーション結果だけでは、ランキングのルールとは言えない
『數位時代』が紹介した研究は、テスト条件が変われば結果も変わり得ることを企業に示しています。Every の評価責任者である Mike Taylor は、2026年10月に OpenAI と Anthropic の4つのモデルを対象として、2,484回の独立した対話を実施しました。毎回まったく新しい対話を開始し、AI に提示するタイトルは1つのバージョンだけとし、前回のテスト内容が記憶されないようにしました。この研究では、異なるタイトル、サブタイトル、ユーザー条件を比較し、AI が最終的にどの参照元を選ぶかを調査しています。
そのうち、プロンプトエンジニアリング（prompt engineering）に関する記事では、本文をまったく変更せず、タイトルとサブタイトルだけを調整しました。特定のテスト条件では、引用回数が2／240から240／240に増加しました。また、読者がどのような方法を学び、どのような成果を得られるかをタイトルで先に明示した場合、課題や著者の経歴を先に打ち出すバージョンよりも高い結果を示しました。一方、既存のタイトルに年を加えただけでは、そのテストグループの結果は改善しませんでした。
この数値は非常に印象的ですが、研究では固定された候補参照元と模擬検索結果が使用されています。タイトル変更後に AI 検索からの実際のトラフィックが増えるかどうかは検証されておらず、Google AI モードや Perplexity も直接テストされていません。そのため、引用率が向上した場合、経営層は、それがシミュレーション環境内だけの向上なのか、実際のプラットフォームでの引用やサイト訪問も増加したのかを確認する必要があります。チームはこの2種類の結果を分けて記録し、1回のテストで高い結果を示したタイトルを、そのまま全社共通のタイトルルールにしてはいけません。
まず4つの条件を固定し、テスト結果を比較可能にする
まずは設備保全、購買時の価格比較、品質異常への対応など、自社サイト上のテーマを1つ選んで試行することを推奨します。最初からサイト全体をテストしてはいけません。テーマによって読者、候補となる参照元、判断基準は大きく異なります。まず一連のプロセスを最後まで実行することで、記入漏れが生じやすい項目や、コンテンツ部門と営業責任者が共同で確認すべき結果が明らかになります。
質問を固定する。 実際の読者が尋ねる質問を3～5件用意し、読者の職種、業界、業務上の状況を明確に記載します。たとえば、「サプライヤーの選び方」とだけ尋ねるのではなく、「製造業の購買責任者が2社の設備サプライヤーを比較する場合、納期と保守に関するどのような条件を先に確認すべきか」とします。研究では、読者情報が詳しいほど、その記事が読者に適しているかどうかを AI が判断しやすくなりました。そのため、企業がテストする際もペルソナを固定し、テストごとに質問の仕方を変えないことが重要です。
候補となる参照元を固定する。 各質問について、自社の記事、同業他社のサイト、メディア記事、フォーラムのコンテンツを含む5～8件の検索結果を用意し、その時点で使用したタイトル、要約、URL、本文のバージョンを保存します。各テストでは、タイトルだけを変更するなど、1つの項目のみを変更し、それ以外は変更しません。そうしなければ結果に差が出ても、チームは真の原因を特定できません。
評価方法を固定する。 記事が引用されたかどうかを記録するだけでなく、AI がどの2本の記事を選んだか、引用理由が質問に合っているか、要約が本文を誤解していないか、回答が当初設定した読者に適しているかも確認します。引用回数は直接集計できますが、記事が引用されたからといって、その引用内容が正しいとは限りません。最終的には、内容を熟知している担当者による確認が必要です。
テスト記録を固定する。 毎回、モデルの提供事業者、モデル名、取得可能なバージョン情報、テスト日、プロンプト、回答全文を保存します。再テスト時は新しい独立した対話を開始し、前回の内容が次のテストに影響しないようにします。チームはまず、この4種類の情報を必須項目としたタスクカードを作成し、その後で異なるタイトルのバージョンを比較します。先に記事を変更し、後から記録を補完する進め方は避けるべきです。
モデルごとに比較し、人による審査を通過してから公開する
元の研究で比較されたのは OpenAI と Anthropic の4つのモデルだけですが、それでも重要な管理上の課題が明らかになっています。異なるモデルの結果をすべてまとめて平均値を算出してはいけません。少なくとも2社の異なる事業者が提供するモデルを選び、それぞれに同じ質問、候補参照元、評価方法を用いてテストすることを推奨します。レポートにも、モデルごとの結果を個別に記載します。特定のバージョンが1つのモデルでのみ高い結果を示した場合は、まず継続して観察します。異なるモデルと異なるテスト回で同様の結果が得られてから、社内ガイドラインへの採用を検討します。
企業は、審査を通過したタイトルルールを AI スキル（AI Skill）として整理することもできます。たとえば、タイトルに読者の課題、対象者、学べる方法が明記されているか、タイトルが本文の内容と一致しているかを確認するルールです。これは、社員が毎回同じ方法で確認できるようにするためのものであり、最終的な記事タイトルは引き続き人が決定します。まず1つのコンテンツチームでこのルールを試し、読者を誤解させる恐れがないことを確認した後、審査を経て共通スキルに組み込みます。
EgentWrX を使用する場合、チームは引用テストを繰り返し実行できるタスクカードとして作成し、「候補参照元の整理、モデル別のバッチテスト、比較結果の作成、責任者の承認」を一連のワークフローとして連携できます。次のステップへ進む前に処理を一時停止し、担当者の確認を待つことも可能です。同じプラットフォーム上で Anthropic、OpenAI、オンプレミスモデル（on-premises model）を切り替えられるため、モデルごとに別々の業務プロセスを構築する必要はありません。ただし、レポートにはモデルとテスト日を個別に明記する必要があります。
最終的な承認担当者は、引用回数が最も多かったバージョンだけを見るのではなく、タイトルが本文の内容を逸脱していないか、一般の読者が理解できるかを確認し、従来の検索順位やクリック実績も別途観察する必要があります。企業はまず1つのテーマを選び、タスクカードを作成し、2社のモデルを使った初回テストを完了したうえで、コンテンツ部門と営業責任者が共同で変更の是非を判断できます。サイト全体のタイトルを一度に変更するよりも、この方法のほうが本当に効果のある書き方を特定しやすく、なぜ有効なのかをチームとして明確に説明できます。
よくある質問
タイトル変更を決定するまでに、何回テストすべきですか？
すべての企業に当てはまる決まった回数はありません。まず各バージョンについて、同じ質問、候補参照元、ペルソナを使って繰り返しテストし、モデルごとの結果を分けて記録する必要があります。異なるテスト回で一貫した差が見られ、人による確認でも誤引用が発見されなかった段階で、変更するかどうかを検討します。
候補となる参照元は毎回更新すべきですか？
同一テスト回でバージョンを比較している間は更新しないでください。更新すると、差がタイトルによるものなのか、候補参照元の変化によるものなのかを確認できなくなります。1回のテストが完了した後、新しいバッチとして検索結果を更新することはできますが、以前のリストを残して日付を記載し、2つのバッチの結果を直接合算しないようにします。
引用率が上がれば、サイトのトラフィックも増えますか？
必ずしも増えるとは限りません。元の研究では固定された候補参照元と模擬検索結果が使用されており、実際の AI 検索サービスから生じるサイトトラフィックは測定されていません。企業は、シミュレーションテストでの引用、実際のプラットフォームでの引用、サイト訪問をそれぞれ別の指標として管理し、公開後に実際の変化を観察する必要があります。
タイトルの確認ルールをそのまま AI Agent に任せてもよいですか？
まず AI Agent に確認と複数案の提示を任せることはできますが、公開前には人による承認が必要です。確認時には、タイトルが読者の疑問に答えているか、対象者が明記されているか、読者が何を学べるのかが明確になっているかを確認します。また、引用率を高めるために読者を誤解させることがないよう、それらの表現を本文が実際に裏付けているかも照合する必要があります。
参考資料
- ChatGPT に自社の記事を推薦してもらうには？2,484回の実測で判明：「タイトル変更」だけで AI 引用率が急上昇 — 『數位時代』による、Every の AI 引用シミュレーションテスト、実践の方向性、研究上の制約に関する解説。
