数多くのWWWサーバに散在する情報を検索するためには，いかにして効率良く情報を集めるかが問題になる。WWWは全体がハイパーテキストになっていて，リンクでつながっていると考えられるから，自動的にリンクをたどりながら情報を集めていく方法が考えられる。このような処理を行うソフトウェアのことをWWWロボットと呼ぶ。有名なWWWロボットには，CMUが開発したLycos，Infoseek社のInfoseek，DEC社のALTA VISTA，Open Text社のOpen Text Indexがある。日本ではNTT情報通信研究所（当時）が開発したTITANがある。これらシステムでは，検索語句との一致度により整列されて得点の高いものから検索結果が順番に表示される。