淘先锋技术网

首页 1 2 3 4 5 6 7

1:首先python环境已经配置好
2:然后准备一个可以支持scrapy项目运行的虚拟环境,我再本地安装了python3 和Anaconda
a:在这里插入图片描述mkvirtualenv --D:\python\Anaconda\anaconda–tool\python.exe env(虚拟环境名称)
b:然后进入虚拟环境下载安装scrapyd,和scrapyd-client两个包
3:进行部署
a:在虚拟环境中的scrapts文件下有个scrapyd-deploy文件,但是该文件只能在Linux下打开,因此要自己在该文件下新建一个scrapyd-deploy.bat文件,在这里插入图片描述
上面的部分是设置当前虚拟环境的路径
b:修改scrapy爬虫项目的scrapy.cfg文件
[settings]
default = KaoLA.settings

[deploy:project(项目名称,后面部署会用到)]
url = http://localhost:6800/ #将注释打开
project = KaoLA #项目名称
c:在虚拟环境下进入到爬虫项目文件夹下
在这里插入图片描述
上面两条命令是测试环境scrapyd是否成功
d:执行打包上传命令
–scrapyd-deploy 项目名称(在scrapy.cfg中设置的)-p 爬虫项目名
在这里插入图片描述
e:打开http://localhost:6800查看是否部署成功
在这里插入图片描述
4:运行部署的爬虫
运行命令:
curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称
停止命令:
curl http://localhost:6800/cancel.json -d project=scrapy项目名称 -d job=运行ID