robots.txtのCrawl-delay ディレクティブ

| | コメント(0) | トラックバック(0)

ちょっと、robots.txtのCrawl-delay ディレクティブについて調べてました。

ていうか、robots.txtの仕様を策定してるのはどこ?
一番信頼できるまとまった仕様なりRFCなりはどこにあるんだろう?

検索エンジンのウェブマスター向け情報

・ウェブマスター向けヘルプ センター
http://www.google.com/support/webmasters/?hl=ja
Google

・Yahoo!検索 ヘルプ - サイト管理者向けヘルプ
http://help.yahoo.co.jp/help/jp/search/indexing/index.html
Yahoo!

・サイト オーナー ヘルプ
http://search.msn.co.jp/docs/siteowner.aspx
MSN

Crawl-delay ディレクティブ

・Yahoo! Japan

例:
アクセス間隔を20分にするには、下記のテキストを「robots.txt」という名前で保存し、サイトのあるウェブサーバーのトップレベルに置きます。
「Slurp」はYahoo!検索で利用している検索エンジン用ロボットの名前です。

User-agent: Slurp
Crawl-delay: 20
検索エンジン用ロボットからのリクエスト数を減らすには

・MSN

MSNBot が頻繁にサイトをクロールしています

MSNBot がサイトをクロールするときは、通常、数秒に複数回という短い間隔でサイトにアクセスすることはありません。サイトが低速で接続されていると MSNBot が判断した場合、アクセスの間隔は自動的に調整されます。アクセスの間隔 (秒単位) の最小値を指定するには、Robots.txt ファイルのクロールの遅延パラメータを使用してください。

User-agent: msnbot
Crawl-delay: 120
MSNBot およびサイトのクロールに関する問題に対処する

・Googleは、「Crawl-delay」ディレクティブの記述見つからず?

で、Crawl-delayで指定する単位は、分?秒?ロボットの実装により異なる?(Yahoo!JapanとMSNで異なる?)


ちなみに・・・、

Yahoo! (US) の説明では、単位については触れてないみたい。

Wikipedia (US)の説明では、「秒」を指定するとなってるようです。

Crawl-delay directive

Several major crawlers support a Crawl-delay parameter, set to the number of seconds to wait between successive requests to the same server:

User-agent: *
Crawl-delay: 10

Robots Exclusion Standard - Wikipedia, the free encyclopedia

ま、秒って事にしておこっと。(適当)

トラックバック(0)

このブログ記事を参照しているブログ一覧: robots.txtのCrawl-delay ディレクティブ

このブログ記事に対するトラックバックURL: http://kinshachi.ddo.jp/mt/mt-tb.cgi/480

コメントする


画像の中に見える文字を入力してください。

このブログ記事について

このページは、ikeが2008年1月13日 23:13に書いたブログ記事です。

ひとつ前のブログ記事は「F-Secure Health Check」です。

次のブログ記事は「サイト中の広告(の一部)を非表示にする」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。

最近のコメント

Powered by Movable Type 4.261