久々のEC-CUBEネタです。
robots.txtの記述の仕方に少し困ってます。
サイトは
PC:http://sample.com/
mobile:http://sample.com/mobile/
と、同一ドメインで運用しています。
まず、EC-CUBE(バージョン:2.4.2)のサイトマップ出力についての仕様ですが
http://sample.com/sitemap.php
でxml形式で自動に生成してくれます。
但し、PC版・モバイル版両方出力されてしますので、PC版とモバイル版2つに切り離さなければなりません。
例)
PC:http://sample.com/sitemap.php
モバイル:http://sample.com/sitemap_m.php
※分割の仕方は割愛します。
EC-CUBE 開発コミュニティサイト – フォーラム
2つ用意できたとして、ウェブマスターツールから無事サイトマップを送信します。
そこで問題です。
そう!
robots.txtの記述です。
最初は何も考えずに
Sitemap: http://sample.com/sitemap.php Sitemap: http://sample.com/sitemap_m.phpと書いてましたが、
出るわ出るわのGooglebotのクロールエラーの嵐!
ウェブマスターツール⇒クロールエラー⇒ウェブ
でエラーを確認すると「403 エラー」との事。
そうですよね、モバイル端末とGooglebot-MobileのUAしかアクセス許可してないのですから
Googlebotがアクセスしてきたら、403エラーになりますよね。。
という事で、
User-Agent: * Sitemap: http://sample.com/sitemap.php User-Agent: Googlebot Disallow: /mobile/ User-Agent: Googlebot-Mobile Sitemap: http://sample.com/sitemap_m.phpとしました。
どうなるかな~、どうなるかな~。
きた、きた、きたよ~。
今度は、
「robots.txt によりアクセスが制限されています」
ときました。
どうすっぺ。。
とりあえずアクセスログを確認!!
そうすると~、Googlebotがsitemap_m.phpにアクセスしてました。
むう~、書き方がまずかったか。。
という事で
User-Agent: * Sitemap: http://sample.com/sitemap.php User-Agent: Googlebot Disallow: http://sample.com/sitemap_m.php User-Agent: Googlebot-Mobile Sitemap: http://sample.com/sitemap_m.phpとしました。
とりあえず今はどうなるか経過観察中です。
ついでに少し気になる記事を発見
Googlebot-Mobileが見つけたURLはGooglebotもクロールする
皆どうやってんのかな~。
以上です。!!
続きはこちら
EC-CUBE モバイルサイトマップ クロール エラー 2