新建项目
scrapy startproject Demo
该命令会在当前目录下建立一个名为 Demo 的 scrapy 项目
控制项目
cd Demo
进入到项目目录中
scrapy genspider changoal changoal.cn
创建一个新的 spider,该命令会在 spiders 文件夹下新建一个叫 changoal.py 的文件。文件里有以下内容:1
2
3
4
5
6
7
8
9import scrapy
class ChangoalSpider(scrapy.Spider):
name = "changoal"
allowed_domains = ["changoal.cn"]
start_urls = ['http://changoal.cn/']
def parse(self, response):
pass
可用的工具命令
scrapy -h
可以查看所有可用的命令。
Scrapy提供了两种类型的命令。一种必须在Scrapy项目中运行(针对项目(Project-specific)的命令),另外一种则不需要(全局命令)。全局命令在项目中运行时的表现可能会与在非项目中运行有些许差别(因为可能会使用项目的设定)。
全局命令:
startproject
settings
runspider
shell
fetch
view
version
项目(Project-only)命令:
crawl
check
list
edit
parse
genspider
bench
startproject
- 语法:
scrapy startproject <project_name>
- 是否需要项目: no
在 project_name
文件夹下创建一个名为 myproject
的 Scrapy 项目。scrapy startproject myproject
genspider
- 语法:
scrapy genspider [-t template] <name> <domain>
- 是否需要项目: yes
在当前项目中创建spider。
这仅仅是创建spider的一种快捷方法。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件。
例子:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23$ scrapy genspider -l
Available templates:
basic
crawl
csvfeed
xmlfeed
$ scrapy genspider -d basic
import scrapy
class $classname(scrapy.Spider):
name = "$name"
allowed_domains = ["$domain"]
start_urls = (
'http://www.$domain/',
)
def parse(self, response):
pass
$ scrapy genspider -t basic example example.com
Created spider 'example' using template 'basic' in module:
mybot.spiders.example
crawl
- 语法:
scrapy crawl <spider>
- 是否需要项目: yes
使用spider进行爬取。scrapy crawl myspider
check
- 语法:
scrapy check [-l] <spider>
- 是否需要项目: yes
运行contract检查。(不懂有什么用)1
2
3
4
5
6
7
8
9
10
11
12
13
14$ scrapy check -l
first_spider
* parse
* parse_item
second_spider
* parse
* parse_item
$ scrapy check
[FAILED] first_spider:parse_item
>>> 'RetailPricex' field is missing
[FAILED] first_spider:parse
>>> Returned 92 requests, expected 0..4
list
- 语法:
scrapy list
- 是否需要项目: yes
列出当前项目中所有可用的spider。每行输出一个spider。
edit
- 语法:
scrapy edit <spider>
- 是否需要项目: yes
使用 EDITOR 中设定的编辑器编辑给定的spider
该命令仅仅是提供一个快捷方式。开发者可以自由选择其他工具或者IDE来编写调试spider。
fetch
- 语法:
scrapy fetch <url>
- 是否需要项目: no
使用Scrapy下载器(downloader)下载给定的URL,并将获取到的内容送到标准输出。
该命令以spider下载页面的方式获取页面。例如,如果spider有 USER_AGENT 属性修改了 User Agent,该命令将会使用该属性。
因此,您可以使用该命令来查看spider如何获取某个特定页面。
该命令如果非项目中运行则会使用默认Scrapy downloader设定。
scrapy fetch http://www.changoal.cn
view
- 语法:
scrapy view <url>
- 是否需要项目: no
在浏览器中打开给定的URL,并以Scrapy spider获取到的形式展现。 有些时候spider获取到的页面和普通用户看到的并不相同。因此该命令可以用来检查spider所获取到的页面,并确认这是您所期望的。
scrapy view http://www.changoal.cn
shell
- 语法:
scrapy shell [url]
- 是否需要项目: no
以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。
scrapy shell http://www.changoal.cn
parse
- 语法:
scrapy parse <url> [options]
- 是否需要项目: yes
获取给定的URL并使用相应的 spider 分析处理。如果您提供 --callback
选项,则使用 spider 的该方法处理,否则使用 parse
。
支持的选项:
--spider=SPIDER
: 跳过自动检测spider并强制使用特定的spider--a NAME=VALUE
: 设置spider的参数(可能被重复)--callback
or-c
: spider中用于解析返回(response)的回调函数--pipelines
: 在pipeline中处理item--rules
or-r
: 使用 CrawlSpider 规则来发现用来解析返回(response)的回调函数--noitem
s: 不显示爬取到的item--nolinks
: 不显示提取到的链接--nocolour
: 避免使用pygments对输出着色--depth
or-d
: 指定跟进链接请求的层次数(默认: 1)--verbose
or-v
: 显示每个请求的详细信息
settings
- 语法:
scrapy settings [options]
- 是否需要项目: no
获取Scrapy的设定。
在项目中运行时,该命令将会输出项目的设定值,否则输出Scrapy默认设定。
1 | $ scrapy settings --get BOT_NAME |
runspider
- 语法:
scrapy runspider <spider_file.py>
- 是否需要项目: no
在未创建项目的情况下,运行一个编写在Python文件中的spider。
scrapy runspider myspider.py
version
- 语法:
scrapy version [-v]
- 是否需要项目: no
输出Scrapy版本。配合 -v 运行时,该命令同时输出Python, Twisted以及平台的信息,方便bug提交。
自定义项目命令
您也可以通过 COMMANDS_MODULE
来添加您自己的项目命令。您可以以 scrapy/commands
中 Scrapy commands
为例来了解如何实现您的命令。