... | @@ -223,6 +223,7 @@ task_result=8000 # 参数错误 |
... | @@ -223,6 +223,7 @@ task_result=8000 # 参数错误 |
|
|
|
|
|
## 归集后存放目录
|
|
## 归集后存放目录
|
|
```html
|
|
```html
|
|
|
|
/data/227/data2/grvael_spider_result/health_commission
|
|
```
|
|
```
|
|
|
|
|
|
## logstash配置文件名称
|
|
## logstash配置文件名称
|
... | @@ -251,10 +252,14 @@ topic_id => "" |
... | @@ -251,10 +252,14 @@ topic_id => "" |
|
# **数据清洗**
|
|
# **数据清洗**
|
|
|
|
|
|
## 责任人
|
|
## 责任人
|
|
|
|
```buildoutcfg
|
|
|
|
蒋家升
|
|
|
|
```
|
|
|
|
|
|
## 代码地址
|
|
## 代码地址
|
|
|
|
```buildoutcfg
|
|
|
|
代码地址: http://tech.pingansec.com/granite/project-collie-app/-/tree/master/app_health_commission
|
|
|
|
```
|
|
|
|
|
|
## 部署地址
|
|
## 部署地址
|
|
<!--机器及线上代码地址-->
|
|
<!--机器及线上代码地址-->
|
... | @@ -263,14 +268,14 @@ topic_id => "" |
... | @@ -263,14 +268,14 @@ topic_id => "" |
|
## 部署方法及说明
|
|
## 部署方法及说明
|
|
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
|
|
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
|
|
- [ ] crontab + data_pump
|
|
- [ ] crontab + data_pump
|
|
- [ ] supervisor + data_pump
|
|
- [x] supervisor + data_pump
|
|
- [ ] supervisor + consumer
|
|
- [ ] supervisor + consumer
|
|
|
|
|
|
## 数据接收来源
|
|
## 数据接收来源
|
|
<!--来源于kafka还是归集的文件、topic的group?-->
|
|
<!--来源于kafka还是归集的文件、topic的group?-->
|
|
|
|
* 归集文件,目录位置:/data/227/data2/grvael_spider_result/health_commission
|
|
|
|
|
|
## 数据存储表地址
|
|
## 数据存储表地址
|
|
|
|
|
|
* 数据库地址:
|
|
* 数据库地址:bdp-ext.rwlb.rds.aliyuncs.com:3306
|
|
* 表名: |
|
* 表名:bdp_ic_ext.tb_health_commission |
|
\ No newline at end of file |
|
\ No newline at end of file |