Scrapy网络爬虫实战

封面

书名页

版权信息

内容简介

前 言

读懂本书

本书特点

示例代码下载

本书适用读者

第1章 Python开发环境的搭建

1.1 Python SDK安装

1.2 安装开发工具PyCharm社区版

1.3 安装开发工具Visual Studio社区版

第2章 爬虫基础知识

2.1 爬虫原理

2.2 网页分析方法1：浏览器开发人员工具

2.3 网页分析方法2：XPath语法

2.4 网页分析方法3：CSS选择语法

2.5 网页分析方法4：正则表达式

2.6 爬虫常用类库1：Python中的HTTP基本库urllib

2.7 爬虫常用类库2：更人性化的第三方库requests

2.8 爬虫常用类库3：元素提取利器BeautifulSoup

2.9 爬虫常用类库4：Selenium操纵浏览器

2.10 爬虫常用类库5：Scrapy爬虫框架

2.11 基本爬虫实战：抓取cnBeta网站科技类文章

第3章 Scrapy命令行与Shell

3.1 Scrapy命令行介绍

3.2 Scrapy Shell命令行

第4章 Scrapy爬虫

4.1 编写爬虫

4.2 通用爬虫

4.3 爬虫实战

第5章 Scrapy管道

5.1 管道简介

5.2 编写自定义管道

5.3 下载文件和图片

5.4 数据库存储MySQL

5.5 数据库存储MongoDB

5.6 实战：爬取链家二手房信息并保存到数据库

第6章 Request与Response

6.1 Request对象

6.2 Response

第7章 Scrapy中间件

7.1 编写自定义Spider中间件

7.2 Spider内置中间件

7.3 编写自定义下载器中间件

7.4 下载器内置中间件

7.5 实战：为爬虫添加中间件

第8章 Scrapy配置与内置服务

8.1 Scrapy配置简介

8.2 日 志

8.3 数据收集

8.4 发送邮件

8.5 实战：抓取猫眼电影TOP100榜单数据

第9章 模拟登录

9.1 模拟提交表单

9.2 用Cookie模拟登录状态

9.3 项目实战

第10章 Scrapy爬虫优化

10.1 Scrapy+MongoDB实战：抓取并保存IT之家博客新闻

10.2 用Benchmark进行本地环境评估

10.3 扩展爬虫

第11章 Scrapy项目实战：爬取某社区用户详情

11.1 项目分析