scrapy 每次访问robots.txt

原创 赤水  2017年3月16日 10:19 阅读 8 次
在学习scrapy中发现每次都会请求/robots.txt
通过配置settings.py 中的 ROBOTSTXT_OBEY = False即可关闭
ROBOTSTXT_OBEY = False
默认为True,就是要遵守robots.txt 的规则,如果不知道/robots.txt是什么协议,自行百度
若设置为False则不遵守robots.txt协议
本文地址: https://blog.lssin.com/readblog/135.html
版权声明:本文为原创文章,版权归  赤水 所有,欢迎分享本文,转载请保留出处!

发表评论


表情