第2章 写一个简单的爬虫

2.1 关于爬虫的合法性

几乎每一个网站都有一个名为robots.txt的文档，当然也有部分网站没有设定robots.txt。对于没有设定robots.txt的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有robots.txt文档，就要判断是否有禁止访客获取的数据。

以淘宝网为例，在浏览器中访问 https://www.taobao.com/robots.txt，如图2-1所示。淘宝网允许部分爬虫访问它的部分路径，而对于没有得到允许的用户，则全部禁止爬取，代码如下。

图2-1

        User-Agent:  *
        Disallow:  /

这一句代码的意思是除前面指定的爬虫外，不允许其他爬虫爬取任何数据。