scrapyd 帮助我们运行 scrapy 代码

pip install scrapyd

scrapyd

客户端远程访问 6800 端口

pip install scrapyd-client

[deploy:部署名称]
url = http://10.211.55.4:6800/ # 服务器地址
project = tencent2

scrapyd-deploy 部署名称 -p 项目名称

curl http://IP:6800/schedule.json -d project=项目名称 -d spider=爬虫名称

curl http://IP:6800/cancel.json -d project=项目名称 -d job=jobid