什么是搜索引擎的Spider(蜘蛛)?

搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。这个条目所描述的内容英文名叫做Web Crawler，这是有正规定义的，参见维基百科。

搜索引擎“蜘蛛”指的是网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取信息的程序或者脚本。