Scrapy爬虫框架

Engine

控制所有的模块之间的数据流

根据条件出发事件

Downloader

根据请求下载网页

Scheduler 对所有爬取请求进行调度管理

Downloader Middleware

目的：

extract()