Scrapy - 第一个蜘蛛程序

Scrapy First Spider - 从简单和简单的步骤学习Scrapy，从基本到高级概念，包括概述，环境，命令行工具，蜘蛛，选择器，项目，项目装载程序，外壳，项目管道，Feed导出，请求和响应，链接提取器，设置，例外，创建项目，定义项目，第一个蜘蛛，爬行，提取项目，使用项目，以下链接，Scraped数据，日志记录，统计信息收集，发送电子邮件，Telnet控制台，Web服务。

描述

Spider是一个类，它定义了从中提取数据的初始URL，如何遵循分页链接以及如何提取和解析项中定义的字段.吡啶的. Scrapy提供了不同类型的蜘蛛，每种蜘蛛都有特定的用途.

在first_scrapy/spiders目录下创建一个名为"first_spider.py"的文件可以告诉Scrapy如何找到我们正在寻找的确切数据.为此，您必须定义一些属性 :

name : 它定义了蜘蛛的唯一名称.
allowed_domains : 它包含要抓取的蜘蛛的基本URL.
start-urls : 蜘蛛开始抓取的网址列表.
解析() : 这是一种提取和解析已删除数据的方法.

以下代码演示了蜘蛛代码的外观和减号;

import scrapy  class firstSpider(scrapy.Spider):    name = "first"    allowed_domains = ["dmoz.org"]       start_urls = [       "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",       "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"    ]     def parse(self, response):       filename = response.url.split("/")[-2] + '.html'       with open(filename, 'wb') as f:          f.write(response.body)