格納された情報は、各検索エンジン独自の解析にかけられ、文章を単語に切り分け、どのような単語が多く含まれるか、どのような単語がサイトの中で重要な位置を占めているかを判断するようにし、検索エンジンが利用しやすい形にデータを整理し、データベースに格納しなおすのです。 一般に検索ロボットやクローラーと称され、検索ロボットが情報収集のためにサイトを巡回することをクロールというそうです。
Googleの検索ロボットはGooglebotと呼ばれているようです。収集された情報を元に、Webユーザーから検索のリクエストが来た場合、どのサイトがそのリクエストに対してより適しているかを判断し、検索結果を返すのです。この検索結果でより高い位置にサイトを表示されるようにするのがSEOの目的となっているのです。 記事で紹介するウェブマスターツールを使えば、検索ロボットが訪れるのをまつだけでなく、クロールしてほしいページを指示したり、クロール状況やクロールの周期をコントロールしたりできるようになるようです。
クローラーが、あるWebサイトを巡回したとき、まず、そのページのファイルを一番最初から順番に見ていくようにしましょう。登録されるには、この検索ロボットがサイトを訪れるのを待つしかないようですが、ここで紹介するツールを使えば、クロールしてほしいページを指示できるようです。ファイルのサイズが大きすぎる場合、また、JavaScript等で動きのあるページの場合、クローラーがすべての情報をインデクサに渡す前に、別のページに移動してしまうことがあるようです。
また、Googleが自分の管理するサイトをどのように見ているかを知り、さらにどのように見てほしいかをコントロールできるようです。自分のサイトがGoogleの検索ロボットに適切にクロールされているかを知ることで、Googleで検索するユーザーがスムーズにサイトにたどり着くことができるように最適化できるようです。SEOを意識して、確実にインデクスされたい場合は、可能な限り綺麗なソースを書き、静的なページに仕上げることが重要となっているのです。