日記書いたりメモ書いたり
LiteFinder とかいう bot がやってきた。User-Agent 名は"Mozilla/5.0 (compatible; LiteFinder/1.0; +http://www.litefinder.net/about.html"。久方ぶりに相当にたちの悪い野郎だ。とりあえずこんな感じ。
robots.txt
の内容は完全無視。というわけで速攻アク禁にしましたとさ。
ただ、前から思っていたのが、Googlebot の標準でのクロール動作もなんか品がないというか何というか。まあ印象があんまり良くない。クロールが一定の時間に集中するのがいまいち気にくわないかな。もう少し分けてクロールして欲しいんだが。うーん。どうしよう。