クローラを用いてウェブ全体からデータを集めて利用する検索エンジン（ロボット型検索エンジン）としては、初期のものとしてAltaVistaがあり、その後、googleが現れた。2004年5月31日には、Yahoo! JAPANの検索エンジンが、アメリカ本社開発のYahoo Search Technology（略されてYSTとも言われる）を使用したロボット型検索エンジンに切り替わった。2006年の日本の検索エンジンの大手各社は、自社開発したロボット型検索エンジンを使用している。
これは、各サイト間に貼られているリンクの質を解析し、その結果を元に各ウェブページにランクを付け、検索結果の表示順番を随時変更するという考え方により、Googleが、Googleが登場する以前の検索エンジンよりも検索キーワードに対して有用な検索結果を示せた為に、他でも類似の考えに基づいたロボット型検索エンジンが使用された結果である。
しかし、ウェブページに対する評価の主な方法は、そのウェブページに対して貼られているリンクの質や記述されているHTMLの構造を解析するものであり、ウェブページの内容自体を評価するものではない。他の主なロボット型検索エンジンも、2005年時点では、ウェブページの内容自体の評価を検索結果の主な指標としてはいない。
そのため、多くのウェブサイト管理者は、サイトのランキング変化を観察したり、その変化の理由を知ることに興味を持つようになった。これらの事をきっかけに、検索結果の上位に掲載されるようウェブサイトをカスタマイズすることが商売になったり、検索結果上位を武器に単に他のサイトへ誘導を目的としたサイトや、ページランクを上げるためだけの意味の無いページなどが急増した。なお、ロボット型検索エンジンの特性を利用して、特定のウェブサイトを検索結果の上位に入れようとする行為自体は、Google登場以前にも行われていた。
これに対して、Googleを始めロボット型検索エンジンを使用する各社は、そのようなサイトに対しても適切な評価ができるように様々な工夫をしており、両者の攻防は続いている。詳しくは検索エンジン最適化を参照のこと。