日記書いたりメモ書いたり
やられるというのはちょっと語弊があるが、実際そんな感じ。Mobile Link Discovery に対応しているからって、そのページをけっこうな頻度で読み込む。MT4i は CGI なんだからやめてくれ。おかげで xrea.com で表示される負荷率が、普段は 0 pt なのに MT4i がやられるときだけ 70 ~ 80 pt にまでなっちまう。そのへんもうちょっと考慮してくれないものかね? MT4i.cgi が含まれる URI は無視するとか。現状では MT4i への Googlebot のアクセスは禁止せざるを得ないな。
すっかり書き忘れていたが、対策をした。MT4i はそもそも代替用なのだからインデックスに追加される必要はない、という理由で robots.txt による全 bot の /cgi-bin/MT4i/ 以下へのアクセス制限をした。で、これを守らないような bot は robots.txt しか読み込ませないようにもした (.htaccess で)。このサイトでは robots.txt は次のよう設定している。
User-agent: *Sitemap: http://bsakatu.s201.xrea.com/sitemap.xmlSitemap: http://bsakatu.s201.xrea.com/sitemap_mt.xmlDisallow: /cgi-bin/MT4i/Disallow: /x/Crawl-delay: 30
User-agent: BaiduspiderDisallow: /
User-agent: TwicelerDisallow: /
