| ... | ... | @@ -97,10 +97,9 @@ social_organ |
|
|
|
taskhub 全量主体信息
|
|
|
|
```
|
|
|
|
|
|
|
|
## 任务输入参数（样例） 其中credit_no、province、company_name为必需
|
|
|
|
## 任务输入参数（样例） 其中credit_no、company_name必需有其中一个
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"province": "BJ",
|
|
|
|
"company_name": "北京市东城区混沌创新学校",
|
|
|
|
"credit_no": "52110101400789098K"
|
|
|
|
}
|
| ... | ... | @@ -108,9 +107,8 @@ taskhub 全量主体信息 |
|
|
|
|
|
|
|
### 任务样例
|
|
|
|
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
|
|
|
|
```buildoutcfg
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"province": "BJ",
|
|
|
|
"company_name": "北京市东城区混沌创新学校",
|
|
|
|
"credit_no": "52110101400789098K"
|
|
|
|
}
|
| ... | ... | @@ -120,7 +118,6 @@ taskhub 全量主体信息 |
|
|
|
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"province": "BJ", -- 任务对应省份
|
|
|
|
"company_name": "北京市东城区混沌创新学校", -- 任务对应社会组织名称
|
|
|
|
"credit_no": "52110101400789098K" -- 任务对应社会组织名称
|
|
|
|
}
|
| ... | ... | @@ -134,18 +131,22 @@ detail: 详情信息 |
|
|
|
|
|
|
|
## 爬虫结果的超级数据
|
|
|
|
<!--包含所有字段的json数据，每个value都要有样例值-->
|
|
|
|
```buildoutcfg
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1000,
|
|
|
|
"data_type": "detail",
|
|
|
|
"spider_name": "social_organ",
|
|
|
|
"task_type": "社会组织",
|
|
|
|
"spider_start_time": "2021-06-25 09:23:53.251",
|
|
|
|
"spider_end_time": "2021-06-25 09:23:53",
|
|
|
|
"task_result": 1000,
|
|
|
|
"task_params": {
|
|
|
|
"province": "BJ",
|
|
|
|
"company_name": "北京市东城区混沌创新学校",
|
|
|
|
"credit_no": "52110101400789098K"
|
|
|
|
},
|
|
|
|
"metadata": {},
|
|
|
|
"companyinfo_item": {
|
|
|
|
"area_code": "110000",
|
|
|
|
"authority": "北京市东城区民政局",
|
| ... | ... | @@ -183,18 +184,22 @@ detail: 详情信息 |
|
|
|
|
|
|
|
## 实际爬虫结果的数据结构
|
|
|
|
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
|
|
|
|
```buildoutcfg
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1000,
|
|
|
|
"data_type": "detail",
|
|
|
|
"spider_name": "social_organ",
|
|
|
|
"task_type": "社会组织",
|
|
|
|
"spider_start_time": "2021-06-25 09:23:53.251",
|
|
|
|
"spider_end_time": "2021-06-25 09:23:53",
|
|
|
|
"task_result": 1000,
|
|
|
|
"task_params": {
|
|
|
|
"province": "BJ",
|
|
|
|
"company_name": "北京市东城区混沌创新学校",
|
|
|
|
"credit_no": "52110101400789098K"
|
|
|
|
},
|
|
|
|
"metadata": {},
|
|
|
|
"companyinfo_item": {
|
|
|
|
"area_code": "110000", # 行政区划代码
|
|
|
|
"authority": "北京市东城区民政局", # 登记管理机关
|
| ... | ... | @@ -220,7 +225,7 @@ detail: 详情信息 |
|
|
|
"oper_status": 0, # 经营异常状态（0正常，1异常）
|
|
|
|
"operation_enddate": "2024-05-31", # 经营结束日期
|
|
|
|
"operation_startdate": "2020-05-31", # 经营开始日期
|
|
|
|
"organizer": "北京市东城区教育委员会",# 业务主管单位/党建工作机构
|
|
|
|
"organizer": "北京市东城区教育委员会", # 业务主管单位/党建工作机构
|
|
|
|
"province": "北京市", # 省份（中文名称）
|
|
|
|
"province_code": 1013, # 省份（数字编号）
|
|
|
|
"province_short": "BJ", # 省份（英文缩写）
|
| ... | ... | |
