朝、サーバがやけに重いので、調べてみたら、ウェブサーバへのアクセスによって、あれこれ、たたき起こされて、負荷を上げまくっていた。誰がこんなに？ と調べてみたら……百度だった。百度のクローラが大暴れしていた。
世界二位だか三位だか知らないが、別にうちのサイトのコンテンツが百度で検索できなくても困らないが、こうも負荷を上げられると不愉快だ……ということで、.htaccessを書き換えて、百度のクローラを出入り禁止にした。が、まだ、負荷は下がらない。違ったのか？と思ったら、別のUser Agentで大暴れしていた。そっちも出入り禁止にしたら、ようやく負荷が通常の水準に戻った。
後発なので焦りもあるのかもしれないが、インデックス作りを、こんなに乱暴に行なわれては、個人で動かしているような零細サイトにはたまったものではない。Naverが日本での検索ビジネスに再度参入とかいっているので、こっちも警戒しないといけない。全く、こんなことに無駄な時間を割きたくないのに(- -#)
コメント