世界中のWWWを事前に探索し，どこにどのような情報があるかをカタログとして整理しておく。そしてユーザから問い合わせがあったときにはカタログを検索してどこを探したらいいかを教えてくれる。

有名なインターネットロボットには，米国のLycos（ライコス），WebCrawler（ウェブクロウラー）等，日本ではNTTのTITAN（タイタン）等がある。