宝塔服务器面板，一键全能部署及管理，送你10850元礼包，点我领取

分散爬行动物是什么？1、分布式爬虫就是将可以在多台电脑上运行，这样可以提高爬虫速度和效率

2、普通的爬虫是将起始任务定义在本机的爬虫文件中，分布式是将起始任务定义在远端服务器上，可以同时多台电脑去取任务，进行爬取

分散型爬行动物的使用方法首先在settings中进行一些相关的配置，以下是在settings中的一些配置

1、设置了DUPEFILTER_CLASS，使用scrapy_redis的重定目标组件，不再使用scrapy拥有的重定目标组件

dupe filter _ class=’ scrapy _ redis.dupe filter.rfpdupefilter ‘

2、设置了SCHEDULER，使用了scrapy_redis的调度程序组件，不再使用scrapy附带的调度程序组件

scheduler=’ scrapy _ redis.scheduler.scheduler ‘

3、不清除redis请求记录(队列)，允许爬网暂停和停止，也就是断点爬网。 上次执行结束到什么程度，下次就继续执行

SCHEDULER_PERSIST=True

4、设置请求任务的队列模式

#SpiderPriorityQueue是scrapy_redis框架的默认队列模式。 有自己的优先顺序。 scheduler _ queue _ class=’ scrapy _ redis.queue.spiderpriorityque先进先出# scheduler _ queue _ class=’ scrapy _ e spiderstack先发出请求的队列模式(LifoQueue )，后退先发出# scheduler _ queue _ class=’ scrapy _ redis.queue.spider stack ‘ 5，然后返回

item _ pipelines={ ‘ scrapy _ redis.pipelines.redis pipeline ‘ :400，} 6，用于设置redis的IP和端口号

REDIS_HOST=’服务器IP’REDIS_PORT=6380然后修改爬虫文件：

爬虫(从scrapy.spider继承) 1、导入安装软件包froms crapy _ redis.spidersimportredisspider

2、爬行动物继承对象改为RedisSpider

3、将开始任务从数据库中取的redis_key=更改为数据库中开始任务的键

通用爬虫(从CrawlSpider继承) 1、安装软件包froms crapy _ redis.spidersimportrediscrawlspider部署

2、爬行动物继承对象改为RedisCrawlSpider

3、将开始任务从数据库中取的redis_key=更改为数据库中开始任务的键