ウェブサイトの規模が大きくなるにつれ、1つのサイトマップだけではすべてのURLを管理しきれなくなる場合があります。ブログや商品ページ、地域や言語別のコンテンツごとにサイトマップを分割すると、管理の効率が向上します。robots.txtファイルに複数のサイトマップを指定することは、検索エンジンクローラーにウェブサイト構造を伝える効果的な方法です。
この記事では、robots.txtファイルに複数のサイトマップを指定する方法とその注意点について詳しく解説します。
Index
robots.txtにサイトマップを記載する理由
1. 検索エンジンにサイトマップ情報を提供
robots.txtにサイトマップのURLを記載すると、検索エンジンクローラーがすぐにサイトマップを見つけることができます。これにより、クローラーがウェブサイトの構造をよりよく理解し、効率的にクロールできるようになります。
2. 複数のサイトマップに対応
ウェブサイトの規模が大きい場合、複数のサイトマップを活用すると便利です。以下のようなケースで特に有効です：
- ブログ、商品ページ、動画などセクションごとに分ける場合
- 地域や言語ごとに分ける場合
- サイトマップのサイズが大きすぎる場合（Googleでは50MBまたは50,000件のURLという制限あり）
robots.txtファイルで複数のサイトマップを指定する方法
基本的な書き方
Sitemap: ディレクティブを使い、各サイトマップURLを1行ずつ記載します。以下は例です：
Sitemap: https://www.example.com/sitemap1.xml
Sitemap: https://www.example.com/sitemap2.xml
Sitemap: https://www.example.com/sitemap3.xml
注意点
- 絶対パスで記載
各サイトマップURLは**絶対パス（フルURL）**で記載する必要があります。例えば、https://www.example.com/sitemap1.xmlのように記載し、/sitemap1.xmlのような相対パスは使用しないでください。 - 各URLを新しい行に記載
複数のサイトマップを指定する場合、それぞれのURLを改行して記載してください。
robots.txtファイルに複数のサイトマップを指定する例
1. 基本サイトマップと画像サイトマップ
User-agent: *
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/image-sitemap.xml
2. 言語別のサイトマップ
User-agent: *
Sitemap: https://www.example.com/sitemap-en.xml
Sitemap: https://www.example.com/sitemap-ja.xml
Sitemap: https://www.example.com/sitemap-ko.xml
3. 大規模ウェブサイト用のセクション別サイトマップ
User-agent: *
Sitemap: https://www.example.com/products-sitemap.xml
Sitemap: https://www.example.com/blog-sitemap.xml
Sitemap: https://www.example.com/videos-sitemap.xml
robots.txtとサイトマップに関する注意点
- robots.txtはルートディレクトリに配置
robots.txtファイルはウェブサイトのルートディレクトリに配置し、https://www.example.com/robots.txtでアクセス可能である必要があります。 - サイトマップURLの有効性を確認
サイトマップが正しく生成され、有効な形式（XML）であることを確認してください。Google Search Consoleを使ってサイトマップを提出し、テストすることをおすすめします。 - robots.txtファイルの文法をテスト
robots.txtテスターを使って、ファイルが正しく動作しているか確認しましょう。 - クローラーの対応状況を確認
GoogleやBingなどの主要な検索エンジンはrobots.txt内のサイトマップを認識しますが、一部のクローラーでは対応していない場合があります。サイトマップを直接検索エンジンに提出するとより確実です。
複数のサイトマップを活用するメリット
- 効率的なクロール
クローラーが特定のサイトマップを効率的にクロールできるため、インデックスの精度が向上します。 - 管理の簡便化
コンテンツを複数のサイトマップに分けることで、変更や更新の管理が容易になります。 - SEOパフォーマンスの向上
すべてのURLが確実にクロールされ、検索エンジンでの可視性が向上します。
結論
robots.txtファイルで複数のサイトマップを指定することは、規模の大きいウェブサイトや複雑な構造のウェブサイトにとって必須のステップです。検索エンジンにサイト構造を効率的に伝え、クローラーが適切に動作するよう支援します。
サイトマップの設定とrobots.txtの記載はSEOにおける基本的なプロセスであり、定期的にチェックし更新することが重要です。これにより、ウェブサイト全体のパフォーマンスを最適化できます。
