Ｇｏｏｇｌｅｂｏｔとは

Ｇｏｏｇｌｅではサイトの判定をする為にCrawler(クローラー)およびSpider（スパイダー）
と呼ばれる周期と役目の異なる２種のロボットGooglebot（グーグルボット）にサイトを巡回させています。

Googlebot（グーグルボット）この際にサイト上のリンクを辿りながらサイトの構文構造を探り検索順の基準となる情報収集活動をします。

このクローラーやスパイダーに良い判定を行わせる為に様々な方法が考案されていますが、あ
まりに意識しすぎると悪質と判断され検索対象からはずされる場合があります。