文化財を作っているのです

「デジタルアーカイブのための日本のウェブサイトの実態調査」のお知らせ

[目的]
 インターネット上に存在する電子情報は、近年、急速に増大しており、また、後世に残すべき「文化財」としての重要性も高まっています。しかし、ウェブ情報は、日々更新されており、歴史的観点から見て貴重な情報が記録されることなく消滅する危険性に直面しています。そこで、国立国会図書館では、将来、これら消え行くウェブ情報を収集・保存し後世に残すことを計画しております。今回は、その実施可能性や方法の検討を行うため、実態調査を実施いたします。
[調査期間]
 平成16年12月〜平成17年3月(予定)

いつものように、ひろ ば?へのアクセス解析をしていたら、見慣れないロボット怒涛のアクセスをして行ったのを発見しました。ロボットの残して行ったURLのうち、片方をたどると、上のページに行き着きました。

文化財ですよ。ええ、ウェブ上のゴミとか、リソースの無駄とかいわれることもある、ブログですが、見方を変えれば、文化財に……なるんだろうか? (^^;;
文化財だということになったりすると、後世に残されたり……うあぁっ、文化財になんてなったらタマラン oTL

さて、まず、間違っても文化財になんてなるわけない、うちなので、そんなくだらない心配はさておき、問題はこのロボットです。
robots.txt によるアクセス制限は受け入れると書いてあるし、確かに、robots.txt は読み取っていますし、確かに指定された領域には踏み込んでいません。

しかし、問題はですね、ものすごく集中的にアクセスして行くということなんですよ。あたかも、絨毯爆撃でも行なうかのように、ものすごい勢いで、うちのサーバを襲って去って行きました。あんまり、短時間に集中的にくるんだとすると、mod_rewrite で、排除することも考えないといけないかもしれません。もうちょっと考えてくれ(--;) > 国立国会図書館