鳩丸ぐろっさり (用語集)

ネットワーク上で単純作業を繰り返すプログラム。特に、HTTP を使って通信し、サーバ上のリソースを機械的に取得して行くユーザーエージェントを指すことが多いです。

代表格はサーチエンジンのロボットです。ロボット型のサーチエンジンでは、登録された URL にプログラムがアクセスして HTML を取得し、その中のキーワードなどを解析してサーチエンジンのデータベースに登録したりします。また、その中に含まれているリンク先の URL を再帰的に取得したりもします。

礼儀として、全てのロボットはサーバ上の robots.txt を読んでそこに書いてあることに従うということになっています。……いますが、中には読まなかったり、読んでも無視したり、ひどい場合はロボットでないふりをしたり……。

※でも、そういうせこい奴はたいてい実装がショボイので、すぐにロボットだとバレたりします。

ロボットにはこのほかにも、アンテナやプリフェッチャなどといったものがあります。