基于scrapy-redis的分布式爬虫

　　不可以.

• 　因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器）　
• 　多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道）　

实现方式:

　　1.基于该组件的RedisSpider类

　　2.基于该组件的RedisCrawlSpider类

pip install scrapy-redis

- 注释该行：
　　bind 127.0.0.1  #表示可以让其他ip访问redis 

- 将yes该为no：
　　protected-mode no   #表示可以让其他ip操作redis

　#修改之前要记得导包from scrapy_redis.Spiders import RedisSpider
　　　　#把爬虫文件中父类修改成RedisSpider或者RedisCrawlSpider--看原爬虫基于的父类是什么,
　　　　#如果原来是基于Spider则更改为RedisSpider
　　　　#如果原爬虫是基于CrawlSpider,则更改为RedisCrawlspider　

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy_redis.spiders import RedisCrawlSpider
from Chouti.items import ChoutiItem

class CtSpider(RedisCrawlSpider):
    name = 'ct'
    # allowed_domains = ['www.xxx.com']
    # start_urls = ['http://www.xxx.com/']
    redis_key='chouti'
　　
　　 #注释或者删除start_urls列表，加入redis_key属性，属性值为scrpy-redis组件中调度器队列的名称　　
　　 #(这样我们要进行爬取就得往调度器的队列丢一个起始的url)
　　　'''
 　　　　分布式爬虫,代码编写好后可以放到分布式集群中,集群中运行的程序时同一个,如果程序中有起始
    　　的url,就表示所有的机器都url,要去请求这个url进行解析-->会导致更多的重复数据
   　　 做分布式就是要其中的某台电脑有url,从url中解析出子url,扔到调度器的队列中
   　　 因为在调度器中,经过去重的url才会放到队列中.
    　　但是起始url还不能没有,就把起始url当成全局的,让集群中的机器其抢,谁抢到谁请求解析
    　　保证起始url只被请求一次
    　　https://dig.chouti.com/
　　　'''
    rules = (
        Rule(LinkExtractor(allow=r'/all/hot/recent/\d+'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        div_list = response.xpath('//div[@class="item"]')
        for div in div_list:
            title = div.xpath('./div[4]/div[1]/a/text()').extract_first()
            author = div.xpath('/div[4]/div[2]/a[4]/b/text()').extract_first()
            # 实例化item对象进行封装
            item = ChoutiItem()

            item['title'] = title
            item['author'] = author

            yield item

import scrapy


class ChoutiItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title=scrapy.Field()
    author=scrapy.Field()

　#同时要注释掉原生的管道,使用redis封装好的共享的管道
　　ITEM_PIPELINES = { 
　　　　　　　　'scrapy_redis.pipelines.RedisPipeline': 400 
　　　　　　　　　　　　　　　　　　　　　　}

#使用scrapy-redis组件的去重队列，使用redis集合来保存请求对象的指纹 ,从而实现去重的持久化
　　　　DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 
　　#使用scrapy-redis组件自己的调度器 
　　　　SCHEDULER = "scrapy_redis.scheduler.Scheduler" 
　　#配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
　　#当这个参数为False的时候，就是没有持久化保存数据，就会再下次启动爬虫文件的时候从新爬取，从0 开始

　 　　 SCHEDULER_PERSIST = True

　　REDIS_HOST = 'redis服务的ip地址' #数据库所在机器上IP地址
　　REDIS_PORT = 6379 
　　REDIS_ENCODING = ‘utf-8’ 
　　#REDIS_PARAMS = {‘password’:’123456’}
　　

　　#这么配置也可以
　　REDIS_URL='redis://127.0.0.1:6379'

redis-server 配置文件

redis-cli

#这个命令要到爬虫项目里面才能运行
scrapy runspider ct.py


#爬虫文件就可以监听端口,等待我们往调度器管道里丢一个起始url
#这个时候爬虫的状态应该是夯筑了，等待我们给他一个reidis_key

#lpush redis_key属性值 起始url
#插入的人key就是爬虫文件redis_key的值
lpush chouti https://dig.chouti.com/　　

- DEPTH_PRIORITY = 1\n,
- SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'\n,
- SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'\n,