开发手册 欢迎您!
软件开发者资料库

Scrapy - 定义一个项目

Scrapy定义项目 - 从简单和简单的步骤学习Scrapy,从基本到高级概念,包括概述,环境,命令行工具,蜘蛛,选择器,项目,项目装载程序,外壳,项目管道,Feed导出,请求和响应,链接提取器,设置,例外,创建项目,定义项目,第一个蜘蛛,抓取,提取项目,使用项目,以下链接,Scraped数据,日志记录,统计信息收集,发送电子邮件,Telnet控制台,Web服务。

描述

项目是用于收集从网站报废的数据的容器.您必须通过定义项目来启动蜘蛛.要定义项目,请编辑目录 first_scrapy (自定义目录)下的 items.py 文件. items.py 看起来像以下 :

import scrapy  class First_scrapyItem(scrapy.Item):    # define the fields for your item here like:       # name = scrapy.Field()

MyItem 类继承自 Item ,其中包含Scrapy已经为我们构建的许多预定义对象.例如,如果要从站点中提取名称,URL和描述,则需要为这三个属性中的每一个定义字段.

因此,让我们添加要收集的项目:

from scrapy.item import Item, Field  class First_scrapyItem(scrapy.Item):    name = scrapy.Field()    url = scrapy.Field()    desc = scrapy.Field()