| ... | @@ -33,7 +33,6 @@ https://www.qcc.com |
... | @@ -33,7 +33,6 @@ https://www.qcc.com |
|
|
```
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 采集频率及采集策略
|
|
## 采集频率及采集策略
|
|
|
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
|
|
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
|
|
|
|
|
|
| ... | @@ -169,7 +168,7 @@ scrapy |
... | @@ -169,7 +168,7 @@ scrapy |
|
|
## 爬虫部署信息
|
|
## 爬虫部署信息
|
|
|
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
|
|
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
|
|
|
```buildoutcfg
|
|
```buildoutcfg
|
|
|
target: node_51
|
|
target: node_43,node_42,node_32,node_33,node_29
|
|
|
project: equity_penetration
|
|
project: equity_penetration
|
|
|
spider_name: equity_penetration_qcc,equity_penetration_qcc_login
|
|
spider_name: equity_penetration_qcc,equity_penetration_qcc_login
|
|
|
```
|
|
```
|
| ... | | ... | |
