WWWのリンクを自動的にたどることで，ページの情報を収集するソフトウェア。サイト運営者がRobotのアクセスを拒みたい場合，制御ファイルをサイトに置くことでRobotにアクセス条件を伝えるフレームワークになっている。
