Googlebot(グーグルボット)とは、Googleのウェブクロール用ロボットのことで、Googleの検索用インデックスに新しいページや更新されたページを次々とダウンロードして回収していくための一連のプログラムとプロセスのことで、Googlebotによってインターネット ...

Googleは検索結果に表示するウェブサイトの情報を収集するために、ネット上に公開されている無数のウェブページの情報を「Googlebot」と呼ばれるクローラで収集しています。このGooglebotに関する公式ドキュメント(英語版)には「15MB以上のファイルをクロール ...

米Googleは11月22日（現地時間）、「Googlebot」のユーザーエージェント文字列を変更すると発表した。12月以降は「Google Chrome」の更新に合わせ、バージョン番号を定期的に更新していくという。 「Googlebot」は、Google検索の検索結果に掲載するWebページを収集 ...

バラクーダネットワークスのお客様から、「自社のWebサイトが偽のGooglebotにクローリングされている」という報告をよく聞きます。さらには、「偽のクローラによるクローリングはブロックしたいが、正当なGooglebot（またはBingbotなど）によるクローリングは ...