ウェブマスターツールでGoogleBotのクロール頻度を設定する項目があるのですが、
「このサイトには、特別なクロール速度が設定されています。このクロール速度を変更することはできません。」
という表示が出るケースがありました。
ググってみても、これといった情報は出てきません。
そこで表示言語を英語にしたところ、
「Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate.」
というメッセージになったので、こっちでググってみたところ何件かめぼしい情報がヒット。
http://www.seroundtable.com/google-crawl-cdn-14126.html
「ホストがCDNに乗ってる場合、Googleが勝手にクロール頻度を最適化するので、ユーザー側でクロール頻度をいじれないようになっている」ということのようです。
http://stackoverflow.com/questions/9265790/how-can-i-change-googles-crawl-rate
こちらは「サーバーをEC2(AWS)に変えたらクロール頻度を調整できなくなって困ってる」という投稿。
http://forums.digitalpoint.com/showthread.php?t=1527405
こっちは少し古いですが「みんな同じだよ。気にスンナ」みたいなスレッド。
そんなわけで、Googleが正式にアナウンスしてるわけではありませんが、「サイトがCDNやEC2(AWS)に乗っているサイトはクロール頻度の調整ができない」ということらしいです。
0 件のコメント:
コメントを投稿