robots.txtでAIクローラーを許可すべきか：GPTBotなどの書き方

「自社の文章をAIに学習されたくないので、AIのクローラーはすべて止めたい」「一方で、ChatGPTやAI検索で自社が紹介されなくなるのは困る」。robots.txtでAIのクローラーをどう扱うかは、企業サイトの担当者からよく受ける相談です。セキュリティ設定やプラグインで、知らないうちに拒否していることもあります。

結論から言うと、AIクローラーは「学習用」「検索用」「利用者の操作で動くもの」に分かれており、AI検索で引用されたい企業サイトは、検索用（OAI-SearchBot・Claude-SearchBot・PerplexityBotなど）を許可したうえで、学習用（GPTBot・ClaudeBot・Google-Extendedなど）を許可するか拒否するかを自社の方針で決めるのが基本です。Google-Extendedを拒否してもGoogle検索やAIによる概要への掲載には影響せず、GPTBotを拒否してもChatGPTの検索に表示されるかどうかは別の設定（OAI-SearchBot）で決まります。

この記事では、主なAIクローラーの一覧、許可・拒否の判断基準、robots.txtの書き方、Google-Extendedとllms.txtの扱い、当社のrobots.txtの実例、設定後の確認方法を、2026年10月時点の各社の公式ドキュメントにもとづいて解説します。

AIクローラーとは：学習用・検索用・利用者の操作で動くものの3種類

AIクローラーとは、AI事業者がウェブページを読み取るために使うプログラムで、用途によって「学習用」「検索用」「利用者の操作で動くもの」の3種類に分かれます。

robots.txtは、サイトのいちばん上の階層に置くテキストファイルで、クローラーに「どのURLを読んでよいか」を伝えます。Googleのrobots.txtの説明にあるとおり、従うかどうかはクローラー次第で強制力はないため、社外秘の情報はパスワードで保護します。また、検索結果から外すにはrobots.txtではなくnoindexを使います（設定方法はメタタグとは？SEOに関係するタグの種類と書き方を参照）。

主なAIクローラーの一覧（2026年10月時点）

主なAI事業者は、学習用と検索用のクローラーを別々の名前で公開しており、robots.txtではその名前（ユーザーエージェント）ごとに許可・拒否を指定します。

出典：Google、OpenAI、Anthropic、Perplexity、Apple、Common Crawlの公式ドキュメント。名前や用途は変わることがあるため、設定の前に各社の公式ページを確認してください。

許可・拒否の判断基準

判断の軸は「AI検索で引用されたいか」と「公開している文章をAIの学習に使われてもよいか」の2つで、多くの企業サイトは検索用を許可し、学習用は自社の方針に合わせて決めれば十分です。

迷う場合は、次の3つの質問で整理します。

1. 載せている情報は会社概要・サービス・料金など「広く知られてよい」ものか。はいなら、学習用も許可して問題は小さい
2. 記事やデータそのものが商品か（有料の調査レポート、独自のデータベースなど）。はいなら、学習用の拒否を検討する
3. ChatGPT・Claude・Perplexityなどで社名やサービスを紹介されたいか。はいなら、検索用は許可する

なお、Google-Extendedを拒否すると、Geminiアプリなどで回答の根拠として使われることも止まるため、Geminiでの紹介を重視する場合は分けて検討します。

robots.txtの書き方と注意点

robots.txtは「User-agent」で対象のクローラーを指定し、その下に「Disallow（拒否）」「Allow（許可）」で対象のURLを書きます。

どのグループにも当てはまらないクローラーは、すべてのURLを読んでよいものとして扱われるため、すべて許可したい場合はAI向けの記述を足す必要はありません。

書き方の例：検索用は許可し、学習用だけ拒否する

学習用の5つにサイト全体を拒否し、それ以外のクローラー（Googlebot、OAI-SearchBot、PerplexityBotなど）にはサイト内検索の結果ページだけを拒否する例です。上から順に1行ずつ書きます。

「User-agent」の行を続けて書くと、その下のルールがまとめて適用されます（Googleのrobots.txtの仕様の解説）。

書くときの注意点

• 名前を指定したグループがあるクローラーは、「User-agent: *」のグループを読みません。Googleの仕様では、いちばん具体的に一致する1つのグループだけに従うため、個別のグループにも拒否したいパスを改めて書きます
• robots.txtはサブドメインごとに置きます
• 変更の反映には時間がかかります。OpenAIは検索について約24時間、Perplexityは最大24時間かかるとしています
• CSSやJavaScriptなど表示に必要なファイルは拒否しません（Appleも、拒否すると正しく読み取れない場合があると説明）
• IPアドレスでの遮断は避けます。Anthropicは、IPで遮断するとrobots.txtを読めなくなり、拒否が確実に伝わらないと説明しています

Google-Extendedを拒否すると、Google検索やAIによる概要に影響するか

Google-Extendedを拒否しても、Google検索への掲載や順位には影響せず、AIによる概要・AIモードへの表示を止めることもできません。

Googleの公式ドキュメントは、Google-Extendedを、クロールした内容をGeminiモデルの学習とGeminiアプリなどでの回答の根拠に使ってよいかを管理する指定とし、Google検索への掲載に影響せず順位づけのシグナルにも使われないと明記しています。AIによる概要・AIモードはGoogle検索の機能です。目的ごとに使う設定は次のとおりです。

Search Consoleのヘルプでは、「検索の生成 AI」設定はAIの学習には影響せず、学習を制限するにはGoogle-Extendedを使うよう案内されています。表示と学習で設定が分かれている点を押さえておきます。

llms.txtの位置づけ

llms.txtは、サイトの概要と主要ページをAI向けにまとめるテキストファイルの提案で、Google検索は使っておらず、置いても置かなくてもGoogle検索での表示には影響しません。

llms.txtは2024年9月にJeremy Howard氏が提案した仕様で、llmstxt.orgで公開されています（2026年10月時点の版は第2版）。サイトのルートに置くMarkdown形式のファイルで、サイト名・要約・主要ページへのリンクを並べます。クロールの許可・拒否を伝える仕組みではありません。

Googleは生成AI機能向けの最適化ガイドで、Google検索はllms.txtを使わず、検索での表示や順位に良くも悪くも影響しないと説明しています。上で出典に挙げたOpenAI・Anthropic・Perplexityのクローラーの説明ページにも、2026年10月時点でllms.txtを使うという記述はありません。

当社は、作成の手間が小さく会社の基本情報の整理にも役立つため、自社サイトにllms.txtを置いています。内容は、社名と要約、所在地・対応エリア・事業内容などの基本情報、進め方と料金、各サービスと会社案内などへのリンクです。llms.txtだけで引用が増えるとは考えず、本文や会社情報の整備と組み合わせることが前提です。

当社のrobots.txtの例

当社のサイトでは、GPTBot・ClaudeBot・PerplexityBot・Google-Extendedを名前で指定して許可し、お客様ごとの結果ページなど、読まれる必要のないページだけを拒否しています。

同じ4行を、ClaudeBot・PerplexityBot・Google-Extendedにもそれぞれ書いています。名前を指定したグループは「User-agent: *」を読まないため、拒否したい2つのパスを各グループに繰り返しています。OAI-SearchBotなど名前を書いていないクローラーは「User-agent: *」のグループに従い、管理画面やサイト内検索の結果ページなどを除いて読めます。

学習用も許可しているのは、載せているのが会社・サービス・料金など、広く正しく知ってもらいたい情報だからです。方針は会社によって違ってよく、大切なのは「何を許可し、何を拒否しているか」を社内で説明できることです。

設定した後の確認方法

設定後は、robots.txtのURLを開いて内容を確認し、Search Consoleのrobots.txtレポートとサーバーのアクセスログで、意図したとおりに読まれているかを確かめます。

1. ブラウザで「https://自社のドメイン/robots.txt」を開き、書いた内容がそのまま表示されるかを確認する
2. Search Consoleのrobots.txtレポートで、Googleが取得したrobots.txtとエラー・警告の有無を確認する（Googleのクローラーについてのみ）
3. サーバーのアクセスログで、GPTBotなどの名前を含むアクセスと、拒否したパスを読んでいないかを見る。名前を偽るボットもあるため、各社が公開するIPアドレスの一覧と照らし合わせる
4. CDN・WAF・セキュリティプラグインで、AIのクローラーを一括で拒否していないかを確認する
5. クローラーの追加や名前の変更に備え、半年に1回程度、各社の公式ページを見直す

アクセスログの確認やWAFの設定にはサーバーの管理権限が必要なため、制作会社や保守会社に依頼するほうが安全です。WordPressのセキュリティ設定の見直し方はWordPressのセキュリティ対策チェックリストで解説しています。

よくあるご質問

GPTBotを拒否すると、ChatGPTに自社が出てこなくなりますか？

ChatGPTの検索に表示されるかどうかは、OAI-SearchBotの設定で決まります。OpenAIは、GPTBotとOAI-SearchBotの設定はそれぞれ独立しており、学習用のGPTBotを拒否しながら、検索用のOAI-SearchBotを許可できると説明しています。

robots.txtで拒否すれば、すでに学習に使われたデータは消えますか？

robots.txtは今後のクロールに対する指示です。Anthropicも、ClaudeBotを拒否すると今後の内容が学習データから除外されると説明しています。過去に集められたデータの扱いは各社の方針によるため、robots.txtだけで削除されるとは考えないほうが安全です。

特定のページだけをAIの検索結果に出さないようにできますか？

できます。OpenAIは、ChatGPTの検索に出したくないページにはnoindexを指定し、クロールは許可しておくよう案内しています。Googleではnoindexやnosnippetを使います。robots.txtで拒否するとnoindexを読めなくなる点に注意してください。

WordPressのサイトでrobots.txtを編集するにはどうすればよいですか？

WordPressは、サーバーにrobots.txtのファイルがない場合に自動で内容を出力します。SEOプラグインで編集する方法とファイルを置く方法があり、どちらで出力されているかで編集場所が変わります。編集後はURLを開いて内容を確認してください。

まとめ

AIクローラーは、学習用（GPTBot・ClaudeBot・Google-Extendedなど）、検索用（OAI-SearchBot・Claude-SearchBot・PerplexityBotなど）、利用者の操作で動くもの（ChatGPT-Userなど）に分かれ、robots.txtでは名前ごとに許可・拒否を指定します。AI検索で引用されたい企業サイトは検索用を許可し、学習用は「公開情報を広く知ってもらいたいか」「文章やデータが商品か」で決めます。Google-Extendedを拒否してもGoogle検索やAIによる概要への掲載には影響せず、llms.txtはGoogle検索では使われません。

当社のSEO・AI検索（AIO）対策では、robots.txt・llms.txt・構造化データ・サイトマップの実装を、ChatGPTやAIモードなどで自社がどう説明されているかの確認とあわせて行います（診断・初期対応20万円〜、税別）。まず自社のrobots.txtがAIの巡回を許可しているかを知りたい場合は、URLを入れるだけの無料簡易診断で、robots.txtなどの技術的な設定とAIの巡回の許可を確認できます。

関連記事：LLMO（AIO）対策とは：中小企業のサイトで今日からできる10項目／AIによる概要・AIモードで引用されるページの書き方／ChatGPTで自社が出てこない理由と、会社情報をAIに正しく伝える方法