如果黑客做搜索引擎,不遵守robots协议,那世界不是完了?

搜索引擎则会按照Robots协议给予的权限进行抓取。Robots协议代表了一种契约精神，互联网企业只有遵守这一规则，才能保证网站及用户的隐私数据不被侵犯。

所以您想通过技术手段访问网站的时候，请首先查看robots.txt文件，它告诉你哪些可以访问，哪些信息是不允许访问的。

robots协议是通用共识，一般来说，大型的、有资质的搜索引擎都会遵守，robots协议是网站所有者不想要公开在网上的内容，是为了保障个人隐私，但是robots协议里规定的内容是可以获取的，只是大家默认遵守该协议，不获取协议内的内容。