メモ帳日記

robots.txt

Created Date

2007-08-31T03:20:36+09:00

Modified Date

2007-09-01T15:01:46+09:00

Category

• Web

PermaLink

http://bsakatu.s201.xrea.com/mt/2007/08/31/03-20-36

このサイトでも robots.txt はもちろん使っている。bot を Disallow: / にする基準は自分で二つ決めている。

1. robots.txt の Disallow の記述を守るか?
2. 守っていたとしても、アクセスの間隔などが妥当なものであるか?

平たく言ってしまえば、行儀の悪い輩を追い出してると言ったところ。追い出し方は、robots.txt で Disallow: / として禁止令を出し、かつ .htaccess で robots.txt 以外にアクセスできないようにするという嫌がらせ的なやり方。これをやると、robots.txt 以外では 403 で弾かれる。それなのに、Baiduspider は数週間にわたってアクセスし続けた。ほんっとに行儀が悪い。

一応 robots.txt を見やすくしてみる。ついでに .htaccess の一部も。ちなみに、deny の後半部分はウィルスバスターの糞機能を弾くためのもの。

1. User-agent: *
2. Sitemap: http://bsakatu.s201.xrea.com/sitemap.xml
3. Sitemap: http://bsakatu.s201.xrea.com/sitemap_mt.xml
4. Disallow: /cgi-bin/MT4i/
5. Disallow: /x/
6. Crawl-delay: 20
8. User-agent: baiduspider
9. Disallow: /
11. User-agent: Twiceler
12. Disallow: /
14. User-agent: YodaoBot
15. Disallow: /
17. User-agent: MaSagool
18. Disallow: /

1. SetEnvIf User-Agent "QihooBot" Badbot
2. SetEnvIf User-Agent "Baiduspider" Badbot
3. SetEnvIf User-Agent "Twiceler" Badbot
4. SetEnvIf User-Agent "YodaoBot" Badbot
5. SetEnvIf User-Agent "MaSagool" Badbot
7. order allow,deny
8. allow from all
9. deny from env=Badbot
10. deny from 66.180.82.81/28
11. deny from 128.241.20.81/28
12. # deny from 66.35.255.81/28
13. deny from 128.241.20.211/28
15. <Files robots.txt>
17. allow from all
19. </Files>