robots.txtファイルでサイトマップの場所を指定

Search Consoleを使って直接サイトマップを送信する以外にrobots.txtファイルにサイトマップの場所を記載することで検索エンジンにサイトマップの場所を伝え参照してもらうようにすることができます。ここではサイトマップの場所をrobots.txtファイルで指定する方法について解説します。

(2022 年 04 月 22 日公開 / 2022 年 04 月 22 日更新)

robots.txtファイルでサイトマップの場所を指定

robots.txtファイルは主に検索エンジンに対してクロールが必要無いページなどを指定するために使用されるファイルです。Googleの公式ヘルプページでは次のように記述されています。

・robots.txt ファイルについて - Search Console ヘルプ

p5-1

robots.txt にサイトマップの場所を記述する場合は次のように記述します。ファイル名には例えば「sitmap.xml」と記載します。 

Sitemap: http://www.example.com/(サイトマップのファイル名)

記述する場所はrobots.txtの中であればどこでも構いません。ファイルの先頭に記述されても結構です。例えばrobots.txtに次のように記述します(最初の2行は今回の件とは関係ありません)。 

User-Agent: *
Disallow:

Sitemap: http://www.example.jp/sitemap.xml

サイトマップの数が複数ある場合はそれぞれ記述して下さい。 

User-Agent: *
Disallow:

Sitemap: http://www.example.jp/sitemap1.xml
Sitemap: http://www.example.jp/sitemap2.xml
Sitemap: http://www.example.jp/sitemap3.xml

サイトマップインデックスファイルを使用している場合は、サイトマップインデックスファイルだけを記述して下さい。 

User-Agent: *
Disallow:

Sitemap: http://www.example.jp/sitemap-index.xml

注意点として、robots.txt は必ずサイトのルートディレクトリに設置しなければなりません。サブディレクトリの中などには設置できません。よくある構成としては次のような配置となります。

サイトA：http://www.example.com/ 

[/root] -+-- index.html
         |
         +-- [/dir] -+-- index.html
         |           +-- index1.html
         |           +-- index2.html
         |           +-- index3.html
         |
         +-- robots.txt
         |
         +-- sitemap.xml

なおrobots.txtファイルにサイトマップに関する記述をしてもSearch Consoleの画面上では特に反映はされません。

( Written by Tatsuo Ikura )

プロフィール画像

著者 / TATSUO IKURA

これから IT 関連の知識を学ばれる方を対象に、色々な言語でのプログラミング方法や関連する技術、開発環境構築などに関する解説サイトを運営しています。

カテゴリ