开发手册 欢迎您!
软件开发者资料库

Scrapy - Web服务

Scrapy Web Services - 从基本到高级概念的简单简单步骤学习Scrapy,其中包括概述,环境,命令行工具,蜘蛛,选择器,项目,项目装载程序,Shell,项目管道,Feed导出,请求和响应,链接提取器,设置,例外,创建项目,定义项目,第一个蜘蛛,爬行,提取项目,使用项目,以下链接,Scraped数据,日志记录,统计信息收集,发送电子邮件,Telnet控制台,Web服务。

描述

可以通过 JSON-RPC 控制正在运行的Scrapy网络爬虫.它由JSONRPC_ENABLED设置启用.此服务通过 JSON-RPC 2.0 协议提供对主爬虫对象的访问.访问爬虫对象的端点是 :

http://localhost:6080/crawler

下表包含一些显示Web服务行为的设置 :

Sr.No设置&说明默认值
1

JSONRPC_ENABLED

这是指布尔值,它决定了网络服务及其扩展名是否启用.

True
2

JSONRPC_LOGFILE

这是指文件用于记录对Web服务发出的HTTP请求.如果没有设置,将使用标准的Scrapy日志.

3

JSONRPC_PORT

这是指Web服务的端口范围.如果设置为none,则将动态分配端口.

[6080,7030]
4

JSONRPC_HOST

这是指Web服务应该监听的接口.

'127.0.0.1'