当ブログに繋がりにくい状況は一旦解消されましたのでご報告いたします。 : ばれにゅ☆どっとねっと

「ばれにゅ☆どっとねっと: ここ最近、当ブログに繋がりにくい状況となっております。」の続報です。

ご迷惑おかけいたしております。とりあえず、503 Service Temporarily Unavailable が頻発する状況は解消されました。レンタルサーバのサポートに問い合わせたところ、

CGI や SSI による負荷が高まり、CGI・SSI の実行に制限がかかっていた。負荷が下がっていることを確認した為、制限を緩和した。

とのことでした。

正直なところ、「CGI や SSI による負荷が高ま」った原因が良く分かっていません。急激にアクセス数が増えたわけではありませんし、アクセス数なら昨年の世界選手権時がピークでしたから、問題は出るならその時に出ていてもよさそうなものです。気になるのは前回も書いた Movable Type のバージョンアップですが、それだけが原因とは思えません。

で、ここからは推測。

「百度」という中国の検索サイトがあり、そこの検索ボットが「Baiduspider」と言います。この検索ボット、方々で悪評を買っており、その素行の悪さは折り紙つきのようです。この「Baiduspider」が今回のトラブルの一因になっているのではと思っています。

「Baiduspider」自体は、既に昨年から当ブログを訪れていたようです。そういう検索ボットがいて、皆それに悩まされているのは知っていたのですが、自分のところでは問題が表面化していないため、調べることもせず、来ていることにすら気付いていませんでした。

で、この「Baiduspider」によって不必要に負荷が高められていたものの、これまでは許容範囲に何とか収まっていた。しかし、Movable Type のバージョンアップにより、そしてタグの導入により、更に負荷要素が増え、瞬間的に許容範囲を超えてしまったのではないかと。

借りているレンタルサーバの仕様として、瞬間的にでも許容値を超えると、自動的に制限がかかり、手動で解除しない限り負荷が軽減されても制限されっぱなし、のようです。

「Baiduspider」ですが、今月に入ってからのピークは 12 日で、なんと一日で 2,365 回もやって来ています。しかもご丁寧に、CGI を中心に叩いている模様。一体何をしたいのか…。

「Baiduspider」を完全にシャットアウトしているところも多いようですが、とりあえず当ブログでは、CGI が置かれているディレクトリ以下に次のような .htaccess ファイルを置いて、「Baiduspider」から CGI プログラムを守ることにしました。

SetEnvIf User-Agent "Baidu" baidu

Order Allow,Deny
Allow from all

Deny from env=baidu

ひとまずはこれで様子を見たいと思います。様子を見ながら、使用を停止していた CGI プログラムやタグ検索を、ぼちぼち復活していければなと思います。

最後に、「Baiduspider」に関する情報及び .htaccess の記述に関しては、以下のブログを参考にさせていただきました。ありがとうございます。

コメントを投稿

上記記事に関するコメントをお寄せください。関係のないコメントはばれにゅ☆BBSへどうぞ。
メールアドレスは入力必須ですが、SPAM対策の為に表示はされません。
コメントの内容が、「意味がない」「元の記事と関係がない」「他人のプライバシーを侵害している」「他人を中傷している」など問題があると管理人が判断した場合、削除させて頂くことがありますので、予めご了承ください。
HTMLタグの使用は禁止しています。URLは自動判別し、自動的にリンクを生成します。
ここはいわゆる「掲示板」ではありません。よろしくお願いいたします。

名前:

メールアドレス:

URL:

この情報を登録しますか?

コメント: