Scrapy - 项目管道

描述

项目管道是处理报废项目的方法.当一个项目被发送到项目管道时，它被一个蜘蛛抓取并使用几个组件进行处理，这些组件按顺序执行.

每当收到一个项目时，它就决定以下任何一个动作 : 去;

• 继续处理该项目.

• 将其从管道中删除.

• 停止处理该项目.

项目管道通常用于以下目的 :

• 在数据库中存储已删除的项目.

• 如果重复收到的项目，则会删除重复的项目.

• 它将检查该项目是否包含目标字段.

• 清除HTML数据.

语法

您可以使用以下方法编写项目管道 :

  process_item (self，item，spider)

上述方法包含以下参数 :

• 项目(项目对象或字典) : 它指定了被删除的项目.

• spider(蜘蛛对象) : 刮掉物品的蜘蛛.

您可以使用下表中给出的其他方法 :

示例

以下是不同概念中使用的项目管道的示例.

删除无标记的项目

在以下代码中，管道余额那些不包含VAT (excludes_vat属性)的商品的(价格)属性，并忽略那些没有价格标签 : 去的商品;

from Scrapy.exceptions import DropItem  class PricePipeline(object):    vat = 2.25    def process_item(self, item, spider):       if item['price']:          if item['excludes_vat']:             item['price'] = item['price'] * self.vat             return item          else:             raise DropItem("Missing price in %s" % item)

写作项目到JSON文件

以下代码将存储所有已抓取的项目从所有蜘蛛到一个 items.jl 文件，其中每行包含一个项目，采用JSON格式的序列化形式. JsonWriterPipeline 类在代码中用于显示如何编写项目管道 :

import json  class JsonWriterPipeline(object):    def __init__(self):       self.file = open('items.jl', 'wb')    def process_item(self, item, spider):       line = json.dumps(dict(item)) + "\n"       self.file.write(line)       return item

将项目写入MongoDB

您可以在Scrapy设置中指定MongoDB地址和数据库名称，并且MongoDB集合可以命名项目类.以下代码描述了如何使用 from_crawler()方法正确收集资源并减去;

import pymongo  class MongoPipeline(object):     collection_name = 'Scrapy_list'    def __init__(self, mongo_uri, mongo_db):       self.mongo_uri = mongo_uri       self.mongo_db = mongo_db    @classmethod    def from_crawler(cls, crawler):       return cls(          mongo_uri = crawler.settings.get('MONGO_URI'),          mongo_db = crawler.settings.get('MONGO_DB', 'lists')       )      def open_spider(self, spider):       self.client = pymongo.MongoClient(self.mongo_uri)       self.db = self.client[self.mongo_db]    def close_spider(self, spider):       self.client.close()    def process_item(self, item, spider):       self.db[self.collection_name].insert(dict(item))       return item

复制过滤器

过滤器将检查重复的项目，它将丢弃已处理的物品.在下面的代码中，我们为项目使用了唯一的id，但是spider返回了许多具有相同id和minus的项目;

from scrapy.exceptions import DropItem  class DuplicatesPipeline(object):     def __init__(self):       self.ids_seen = set()    def process_item(self, item, spider):       if item['id'] in self.ids_seen:          raise DropItem("Repeated items found: %s" % item)       else:          self.ids_seen.add(item['id'])          return item

激活项目管道

您可以通过将其类添加到 ITEM_PIPELINES 设置来激活项目管道组件，如以下代码所示.您可以按照运行顺序为类分配整数值(顺序可以降低到较高值的值)，值可以在0-1000范围内.

ITEM_PIPELINES = {   'myproject.pipelines.PricePipeline': 100,   'myproject.pipelines.JsonWriterPipeline': 600,}