Scrapy - 蜘蛛

描述

Spider是一个类，负责定义如何通过网站关注链接并从页面中提取信息.

Scrapy的默认蜘蛛如下:

scrapy.Spider

这是一只蜘蛛，其他所有蜘蛛都必须从中继承.它有以下类 :

  class scrapy.spiders.Spider

下表显示scrapy的字段.Spider类 :

Spider Arguments

Spider参数用于指定起始URL，并使用带有 -a 选项的crawl命令传递，如下所示 :

  scrapy crawl first_scrapy -a group = accessories

以下代码演示了蜘蛛如何接收参数 :

import scrapy class FirstSpider(scrapy.Spider):    name = "first"       def __init__(self, group = None, *args, **kwargs):       super(FirstSpider, self).__init__(*args, **kwargs)       self.start_urls = ["http://www.example.com/group/%s" % group]

Generic Spiders

您可以使用通用蜘蛛从你的蜘蛛子类.他们的目的是根据某些规则关注网站上的所有链接，从所有页面中提取数据.

对于以下蜘蛛中使用的示例，我们假设我们有一个包含以下内容的项目字段 :

import scrapy from scrapy.item import Item, Field   class First_scrapyItem(scrapy.Item):    product_title = Field()    product_link = Field()    product_description = Field()

CrawlSpider

CrawlSpider定义了一组遵循链接并废弃多个页面的规则.它有以下类 :

  class scrapy.spiders.CrawlSpider

以下是CrawlSpider类和减号的属性;

规则

这是一个规则对象列表，用于定义爬网程序如何跟随链接.

下表显示了CrawlSpider class : 的规则;

parse_start_url(回复)

它返回任一项或通过允许解析初始响应来请求对象.

注意 : 确保在编写规则时重命名除解析之外的解析函数，因为CrawlSpider使用解析函数来实现其逻辑.

让我们看看下面的示例，其中spider开始爬行demoexample.com的主页，使用 parse_items 方法收集所有页面，链接和解析;

import scrapyfrom scrapy.spiders import CrawlSpider, Rulefrom scrapy.linkextractors import LinkExtractorclass DemoSpider(CrawlSpider):   name = "demo"   allowed_domains = ["www.demoexample.com"]   start_urls = ["http://www.demoexample.com"]         rules = (       Rule(LinkExtractor(allow =(), restrict_xpaths = ("//div[@class = 'next']",)),         callback = "parse_item", follow = True),   )      def parse_item(self, response):      item = DemoItem()      item["product_title"] = response.xpath("a/text()").extract()      item["product_link"] = response.xpath("a/@href").extract()      item["product_description"] = response.xpath("div[@class = 'desc']/text()").extract()      return items

XMLFeedSpider

它是蜘蛛的基类，可以从XML提要中获取并通过节点进行迭代.它有以下类 :

  class scrapy.spiders.XMLFeedSpider

下表显示了用于设置迭代器的类属性和标记名称 :

CSVFeedSpider

它遍历每一行，接收CSV文件作为响应，并调用 parse_row()方法.它有以下类 :

  class scrapy.spiders.CSVFeedSpider

下表显示了可以设置的关于CSV文件和减号的选项;

CSVFeedSpider示例

from scrapy.spiders import CSVFeedSpiderfrom demoproject.items import DemoItem  class DemoSpider(CSVFeedSpider):    name = "demo"    allowed_domains = ["www.demoexample.com"]    start_urls = ["http://www.demoexample.com/feed.csv"]    delimiter = ";"    quotechar = "'"    headers = ["product_title", "product_link", "product_description"]        def parse_row(self, response, row):       self.logger.info("This is row: %r", row)        item = DemoItem()       item["product_title"] = row["product_title"]       item["product_link"] = row["product_link"]       item["product_description"] = row["product_description"]       return item

SitemapSpider

SitemapSpider在站点地图的帮助下，通过查找网址抓取网站来自robots.txt.它有以下类 :

  class scrapy.spiders.SitemapSpider

下表显示了SitemapSpider : 的字段;

SitemapSpider示例

以下SitemapSpider处理所有URL :

from scrapy.spiders import SitemapSpider  class DemoSpider(SitemapSpider):    urls = ["http://www.demoexample.com/sitemap.xml"]        def parse(self, response):       # You can scrap items here

以下SitemapSpider处理一些带回调和减号的网址;

from scrapy.spiders import SitemapSpider  class DemoSpider(SitemapSpider):    urls = ["http://www.demoexample.com/sitemap.xml"]       rules = [       ("/item/", "parse_item"),       ("/group/", "parse_group"),    ]        def parse_item(self, response):       # you can scrap item here        def parse_group(self, response):       # you can scrap group here

以下代码显示了robots.txt中的网址地图，其网址为/sitemap_company :

from scrapy.spiders import SitemapSpiderclass DemoSpider(SitemapSpider):    urls = ["http://www.demoexample.com/robots.txt"]    rules = [       ("/company/", "parse_company"),    ]    sitemap_follow = ["/sitemap_company"]        def parse_company(self, response):       # you can scrap company here

您甚至可以将SitemapSpider与其他URL结合使用，如以下命令所示.

from scrapy.spiders import SitemapSpider  class DemoSpider(SitemapSpider):    urls = ["http://www.demoexample.com/robots.txt"]    rules = [       ("/company/", "parse_company"),    ]        other_urls = ["http://www.demoexample.com/contact-us"]    def start_requests(self):       requests = list(super(DemoSpider, self).start_requests())       requests += [scrapy.Request(x, self.parse_other) for x in self.other_urls]       return requests    def parse_company(self, response):       # you can scrap company here...    def parse_other(self, response):       # you can scrap other here...