Skip to main content
FreeToolkit .ai

Robots.txt SEO

Robots.txt illustration
🔍

Robots.txt

SEO

1

ユーザーエージェントの選択

ルールを作成する検索エンジンのクローラーを選択します (すべてのボット、Googlebot、Bingbotなど)。

2

許可/禁止ルールの設定

クローラーがアクセスできるURLパスの指定と、アクセスできないURLパスの指定を行います。

3

サイトマップの追加とコピー

サイトマップのURLを追加し、生成されたrobots.txt内容をコピーします。

Loading tool...

What Is Robots.txt ?

Robots.txtジェネレーターは、検索エンジンのクローラーがあなたのウェブサイトのどの部分にアクセスできるかできないかを指定する、適切な形式で作成されたrobots.txtファイルを作成するのに役立ちます。robots.txtファイルはドメインルート（example.com/robots.txt）に配置され、クローラーがあなたのサイトを索引化する前に最初に確認するファイルです。不正に設定されたrobots.txtファイルは、重要なページを検索エンジンから意図せずブロックしたり、重要でないリソースに対してクロール予算を浪費したりする可能性があります。このツールは、User-agent、Disallow、Allow、Sitemap、およびCrawl-delayを含む標準準拠のディレクティブを生成し、あなたのファイルがRobots Exclusion Protocol仕様に従っていることを保証します。

Why Use Robots.txt ?

  • プロトコル仕様を覚えることなく有効なrobots.txt構文を生成する
  • WordPressやECサイトなどの一般的な設定用に事前に作成されたテンプレート
  • 異なるルールを持つ複数のユーザーエージェントブロックに対応
  • クローラーがXMLサイトマップを発見できるようにサイトマップ宣言を行う
  • サーバーへのデプロイ前にプレビューと検証を行える

Common Use Cases

新しいウェブサイトの立ち上げ

クローラーのアクセスを適切に制御するためのrobots.txtを作成します。

クロール予算管理

管理ページ、検索結果、パラメータURLなどのリソースの無駄遣いを防ぐためにクローラーをブロックします。

ステージングサイト保護

検索エンジンがステージングまたは開発環境をインデックスしないようにします。

WordPress SEO

wp-admin、フィード、タグページなどのブロックを行う最適化されたrobots.txtを作成します。

Technical Guide

robots.txtファイルは、Robots Exclusion Protocol（REP）に従います。これはドメインのルートにある/robots.txtに配置する必要があります。各ブロックは、どのクローラーに対して規則が適用されるかを指定するUser-agentディレクティブから始まります（*はすべてを意味します）。Disallowはパスをブロックし、Allowは明示的にアクセスを許可します（より広範なDisallow内で例外として使用すると便利です）。規則はパスプレフィックスベースであるため、Disallow: /adminは/admin、/admin/users、/admin/settingsなどをブロックします。Sitemapディレクティブはファイルのどこにでも配置でき、すべてのクローラーにあなたのXMLサイトマップを見つける場所を通知します。重要な注意点として、robots.txtは要求であり、強制ではありません - 悪意のあるボットはこれを無視する可能性があります。また、URLがrobots.txtでブロックされている場合でも、外部サイトからリンクされている場合は、GoogleはまだそのURL（コンテンツなし）を索引化する可能性があります。索引化を完全に防止するには、その代わりにnoindexメタタグまたはX-Robots-Tag HTTPヘッダーを使用してください。

Tips & Best Practices

  • 1
    CSS、JavaScript、画像ファイルは検索エンジンがページを正しくレンダリングするために必要なのでブロックしないでください
  • 2
    セキュリティではなくクロール効率のためだけにrobots.txtを使用してください - 公開可能です
  • 3
    常にサイトマップURLをrobots.txtに含めてクローラーが発見できるようにします
  • 4
    Google Search Consoleのrobots.txtテスターでrobots.txtをテストします
  • 5
    ブロックしても外部リンクがあればインデックスされる可能性があるため、注意してください

Related Tools

メタタグジェネレーター - free online tool

メタタグジェネレーター

Open GraphやTwitter Cardタグを含む完全なHTMLメタタグを生成します。

🔍 SEO Tools
XML サイトマップ ジェネレーター - free online tool

XML サイトマップ ジェネレーター

URL、最終更新日、変更頻度を含む有効な XML サイトマップを生成します。

🔍 SEO Tools
正規URLチェッカー - free online tool

正規URLチェッカー

重複コンテンツの問題を防ぐために、正規URLタグを確認して生成します。

🔍 SEO Tools
XMLサイトマップバリデーター - free online tool

XMLサイトマップバリデーター

XMLサイトマップの構文、構造、およびSitemaps Protocolへの準拠を検証します。

🔍 SEO Tools

Frequently Asked Questions

Q robots.txtファイルはどこに置きますか?
ドメインのルートに配置する必要があります: https://example.com/robots.txt。サブドメインには独自のrobots.txtが必要です。
Q robots.txtはインデックスをブロックしますか?
完全にはブロックしません。クロールは防止できますが、外部サイトからブロックされたURLへのリンクがある場合はGoogleによってまだインデックスされる場合があります (「このページに関する情報は利用できません」スニペットが表示されます)。完全な防止のためにはnoindexメタタグを使用してください。
Q 異なるクローラーに対して異なるルールを作成できますか?
はい。各クローラー (Googlebot、Bingbotなど) 用に個別のユーザーエージェントブロックを作成し、それぞれに特定のルールを設定します。
Q Crawl-delayは何を行いますか?
Crawl-delayはクローラーにN秒間隔でリクエストするように指示します。Googleではこのディレクティブが無視されます - 代わりにSearch Consoleを使用してGooglebotのクロール速度を設定してください。Bingやその他の検索エンジンでは尊重されます。
Q WordPressで/wp-adminをブロックする必要がありますか?
はい、/wp-admin/はブロックしますが、/wp-admin/admin-ajax.php (多くのWordPress機能に必要) は許可してください。また、/wp-includes/やフィードURLのブロックも検討してください。

About This Tool

Robots.txt is a free online tool by FreeToolkit.ai. All processing happens directly in your browser — your data never leaves your device. No registration or installation required.