初心者プログラマー奮闘記

久々のEC-CUBEネタです。

robots.txtの記述の仕方に少し困ってます。

サイトは
PC：http://sample.com/
mobile：http://sample.com/mobile/
と、同一ドメインで運用しています。

まず、EC-CUBE（バージョン：2.4.2）のサイトマップ出力についての仕様ですが

http://sample.com/sitemap.php

でxml形式で自動に生成してくれます。

但し、PC版・モバイル版両方出力されてしますので、PC版とモバイル版2つに切り離さなければなりません。

例）
PC：http://sample.com/sitemap.php
モバイル：http://sample.com/sitemap_m.php
※分割の仕方は割愛します。
EC-CUBE 開発コミュニティサイト – フォーラム

2つ用意できたとして、ウェブマスターツールから無事サイトマップを送信します。

そこで問題です。

そう！

robots.txtの記述です。

最初は何も考えずに

Sitemap: http://sample.com/sitemap.php
Sitemap: http://sample.com/sitemap_m.php

と書いてましたが、
出るわ出るわのGooglebotのクロールエラーの嵐！

ウェブマスターツール⇒クロールエラー⇒ウェブ
でエラーを確認すると｢403 エラー｣との事。
そうですよね、モバイル端末とGooglebot-MobileのUAしかアクセス許可してないのですから
Googlebotがアクセスしてきたら、403エラーになりますよね。。

という事で、

User-Agent: *
Sitemap: http://sample.com/sitemap.php

User-Agent: Googlebot
Disallow: /mobile/

User-Agent: Googlebot-Mobile
Sitemap: http://sample.com/sitemap_m.php

としました。


どうなるかな～、どうなるかな～。



きた、きた、きたよ～。
今度は、
｢robots.txt によりアクセスが制限されています｣
ときました。

どうすっぺ。。

とりあえずアクセスログを確認！！
そうすると～、Googlebotがsitemap_m.phpにアクセスしてました。

むう～、書き方がまずかったか。。

という事で

User-Agent: *
Sitemap: http://sample.com/sitemap.php

User-Agent: Googlebot
Disallow: http://sample.com/sitemap_m.php

User-Agent: Googlebot-Mobile
Sitemap: http://sample.com/sitemap_m.php

としました。

とりあえず今はどうなるか経過観察中です。
ついでに少し気になる記事を発見
Googlebot-Mobileが見つけたURLはGooglebotもクロールする

皆どうやってんのかな～。


以上です。！！

---

続きはこちら
EC-CUBE モバイルサイトマップ クロール エラー　2