メモ帳日記

LiteFinder

Created Date

2007-11-23T00:26:38+09:00

Modified Date

2007-11-23T00:37:23+09:00

Category

• Web

PermaLink

http://bsakatu.s201.xrea.com/mt/2007/11/23/00-26-38

LiteFinder とかいう bot がやってきた。User-Agent 名は"Mozilla/5.0 (compatible; LiteFinder/1.0; +http://www.litefinder.net/about.html"。久方ぶりに相当にたちの悪い野郎だ。とりあえずこんな感じ。

• 1秒間隔のアクセスは当たり前。
• robots.txt の内容は完全無視。
• URI の解析がまともにできていない。

というわけで速攻アク禁にしましたとさ。

ただ、前から思っていたのが、Googlebot の標準でのクロール動作もなんか品がないというか何というか。まあ印象があんまり良くない。クロールが一定の時間に集中するのがいまいち気にくわないかな。もう少し分けてクロールして欲しいんだが。うーん。どうしよう。