这篇博客咱们聊聊 scrapy 中的 Downloader Middleware ,即下载中间件相关知识。
首先看一下中间件在 scrapy 数据流中的位置,下图黑色箭头即下载中间件。
结合上图就能看出来, Requests
和 Response
都会通过 Downloader Middlerware
,所以在后续代码编写的时候需要注意该点。
中间件的开启非常简单,只需要在 settings.py
文件中去除下述代码的注释即可。
DOWNLOADER_MIDDLEWARES = {
'mid_test.middlewares.MidTestDownloaderMiddleware': 543
网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。
加入交流群
请使用微信扫一扫!