Deprecated: Function ereg() is deprecated in /virtual/bsakatu/module/xml_declaration.inc on line 4
メモ帳日記 : MT4i、Googlebot にやられる
  1. メモ帳日記 >
  2. Web >
  3. Movable Type >
  4. MT4i、Googlebot にやられる

メモ帳日記

日記書いたりメモ書いたり

2007年 7月 24日(仏滅

MT4i、Googlebot にやられる

やられるというのはちょっと語弊があるが、実際そんな感じ。Mobile Link Discovery に対応しているからって、そのページをけっこうな頻度で読み込む。MT4i は CGI なんだからやめてくれ。おかげで xrea.com で表示される負荷率が、普段は 0 pt なのに MT4i がやられるときだけ 70 ~ 80 pt にまでなっちまう。そのへんもうちょっと考慮してくれないものかね? MT4i.cgi が含まれる URI は無視するとか。現状では MT4i への Googlebot のアクセスは禁止せざるを得ないな。

すっかり書き忘れていたが、対策をした。MT4i はそもそも代替用なのだからインデックスに追加される必要はない、という理由で robots.txt による全 bot の /cgi-bin/MT4i/ 以下へのアクセス制限をした。で、これを守らないような bot は robots.txt しか読み込ませないようにもした (.htaccess で)。このサイトでは robots.txt は次のよう設定している。

  1. User-agent: *
  2. Sitemap: http://bsakatu.s201.xrea.com/sitemap.xml
  3. Sitemap: http://bsakatu.s201.xrea.com/sitemap_mt.xml
  4. Disallow: /cgi-bin/MT4i/
  5. Disallow: /x/
  6. Crawl-delay: 30
  7. User-agent: Baiduspider
  8. Disallow: /
  9. User-agent: Twiceler
  10. Disallow: /