クローラーとは、WEBサイトを蜘蛛が張り巡らせた糸を移動するように巡って、検索ランキングを決定するもとになる情報を集めるロボットプログラムのことです。

検索ランキングを決定するもとになる情報を集めているという点で、サイト運営において対策することは重要です。仕組みを知っていると有効な対策を講じることができます。

クローラーの仕組み

WEBサイトを巡って情報を集めてキーワード別にデータベース化します。ユーザーが検索したワードに対して、適切だと思われるページを検索結果に反映させます。クローラーの工程には3つの段階があります。

クロール

クロールの基本的動作はクローリングとパーシングです。まずクローリングでクローラーがWEBサイトを巡って、ページにたどり着くと解析を始めます。これがパーシングと呼ばれる解析機能です。

インデックス

収集したデータをアルゴリズムが認識しやすいように変換し、検索エンジンのデータベースに登録します。この登録作業がインデックスです。

ランキング

インデックスされた情報に基づいて、検索クエリによってランキングされ、検索結果に反映されます。ランキングの決定要因はアルゴリズムというプログラムです。日々このアルゴリズムの精度は進化し、項目は見直しを繰り返しています。

効果的な対策

クローラーがスムーズに巡回できるかをを表す、クローラビリティをあげる対策として、URLをシンプルなものにする、XMLサイトマップを作る、内部リンクを最適に配置するということがあります。

URLをシンプルなものにする

wwwがあるURLとwwwがないURLどちらも有しているサイトがよくあります。不要なクロールを避けるため、URLを統一します。わかりにくいURLもクローラビリティを下げてしまう原因になるので、わかりやすいシンプルなものにします。

XMLサイトマップを作る

XMLサイトマップとは、サイト内の構造をクローラーに素早く認識させるためのものです。XMLサイトマップはユーザー向けではなく、クローラー対策でクローラーがスムーズに巡回するために作ります。

内部リンクを最適に配置する

クローラーはリンクからリンクへとサイト内を移動するため、内部リンクが最適に配置されていれば、クローラーが多くのページ移動することができます。クローリングがスムーズにおこなわれ、サイト内の構造を理解しインデックス作業も効率よくおこなわれます。