Googleウェブマスターツールでクロール頻度が変更できない

ウェブマスターツールでGoogleBotのクロール頻度を設定する項目があるのですが、

「このサイトには、特別なクロール速度が設定されています。このクロール速度を変更することはできません。」

という表示が出るケースがありました。

ググってみても、これといった情報は出てきません。

そこで表示言語を英語にしたところ、

「Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate.」

というメッセージになったので、こっちでググってみたところ何件かめぼしい情報がヒット。

http://www.seroundtable.com/google-crawl-cdn-14126.html

「ホストがCDNに乗ってる場合、Googleが勝手にクロール頻度を最適化するので、ユーザー側でクロール頻度をいじれないようになっている」ということのようです。


http://stackoverflow.com/questions/9265790/how-can-i-change-googles-crawl-rate

こちらは「サーバーをEC2(AWS)に変えたらクロール頻度を調整できなくなって困ってる」という投稿。


http://forums.digitalpoint.com/showthread.php?t=1527405

こっちは少し古いですが「みんな同じだよ。気にスンナ」みたいなスレッド。


そんなわけで、Googleが正式にアナウンスしてるわけではありませんが、「サイトがCDNやEC2(AWS)に乗っているサイトはクロール頻度の調整ができない」ということらしいです。

Googleウェブマスターツールの404アラート

久しぶりにGoogleウェブマスターツールにログインしたら

http://kawama.jp/: 停止している可能性があります

というメッセージが数十通来ていました。

内容は、

サイトをクロールした際、2010-10-20 10:00 UTC（日本標準時は -9 時間）頃にソフト 404 エラーの数が一時的に増えていることが判明しました。サイトが停止している可能性があります。また、この問題は既に解決している可能性もあります。

というもの。このメッセージはメールに転送することもできるようです。
Googleウェブマスターツールはどんどん進化してると聞いてましたが、なるほど便利です。

ちなみに404アラートはcoreserver移行を機にピタリと止まってました。

面倒でしたが、やはり引っ越ししておいて良かったです。