| ... | ... | @@ -122,7 +122,7 @@ data_type=paimai_detail 获取"公告内容"详情 |
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
## tb_max_ggid作为参数,爬虫结果
|
|
|
|
## tb_max_ggid作为参数,爬虫结果 (已废弃)
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"data": {
|
| ... | ... | @@ -164,6 +164,115 @@ data_type=paimai_detail 获取"公告内容"详情 |
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
## tb_max_ggid作为参数，爬虫结果(使用中)
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"data": {
|
|
|
|
"paimai": {
|
|
|
|
"bt": "济南市历下区人民法院关于历下区解放路43号银座数码广场2-134（第一次拍卖）的公告",
|
|
|
|
"zcczdw": "济南市历下区人民法院",
|
|
|
|
"ggsj": "2022.03.14",
|
|
|
|
"ggid": "4528912",
|
|
|
|
"html_url": "https://www.rmfysszc.gov.cn/statichtml/rm_xmdetail/4528912.shtml"
|
|
|
|
}
|
|
|
|
},
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1000,
|
|
|
|
"data_type": "paimai_list",
|
|
|
|
"spider_start_time": "2022-03-15 09:53:33.786",
|
|
|
|
"spider_end_time": "2022-03-15 09:53:34.774",
|
|
|
|
"task_params": {
|
|
|
|
"platform_name": "rmfysszc",
|
|
|
|
"data_type": "paimai_court_detail",
|
|
|
|
"data": {},
|
|
|
|
"current_page": "1",
|
|
|
|
"first_level_dict": {
|
|
|
|
"code": "104",
|
|
|
|
"name": "山东省高级人民法院"
|
|
|
|
},
|
|
|
|
"second_level_dict": {
|
|
|
|
"code": "7043",
|
|
|
|
"name": "山东省济南市中级人民法院"
|
|
|
|
},
|
|
|
|
"third_level_dict": {
|
|
|
|
"code": "434",
|
|
|
|
"name": "济南市历下区人民法院"
|
|
|
|
},
|
|
|
|
"tb_max_ggid": "4393861"
|
|
|
|
},
|
|
|
|
"metadata": {
|
|
|
|
"first_level_dict": {
|
|
|
|
"code": "104",
|
|
|
|
"name": "山东省高级人民法院"
|
|
|
|
},
|
|
|
|
"second_level_dict": {
|
|
|
|
"code": "7043",
|
|
|
|
"name": "山东省济南市中级人民法院"
|
|
|
|
},
|
|
|
|
"third_level_dict": {
|
|
|
|
"code": "434",
|
|
|
|
"name": "济南市历下区人民法院"
|
|
|
|
},
|
|
|
|
"current_page": "1"
|
|
|
|
},
|
|
|
|
"spider_name": "paimai_rmfysszc",
|
|
|
|
"spider_ip": "192.168.108.157",
|
|
|
|
"proxy_ip": "http://101.133.174.56:1805"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
## taskhub处理的中间环节(清洗不用管)
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"data": {
|
|
|
|
"paimai": {}
|
|
|
|
},
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1001,
|
|
|
|
"data_type": "paimai_court_list",
|
|
|
|
"spider_start_time": "2022-03-15 10:06:59.646",
|
|
|
|
"spider_end_time": "2022-03-15 10:07:01.379",
|
|
|
|
"task_params": {
|
|
|
|
"tb_max_ggid": 4521000
|
|
|
|
},
|
|
|
|
"metadata": {
|
|
|
|
"platform_name": "rmfysszc",
|
|
|
|
"court": {
|
|
|
|
"first": {
|
|
|
|
"code": "117",
|
|
|
|
"name": "甘肃省高级人民法院"
|
|
|
|
},
|
|
|
|
"second": {
|
|
|
|
"code": "15041",
|
|
|
|
"name": "甘肃省林区中级法院"
|
|
|
|
},
|
|
|
|
"third": {
|
|
|
|
"code": "15334",
|
|
|
|
"name": "小陇山林区法院"
|
|
|
|
}
|
|
|
|
},
|
|
|
|
"first_level_dict": {
|
|
|
|
"code": "117",
|
|
|
|
"name": "甘肃省高级人民法院"
|
|
|
|
},
|
|
|
|
"second_level_dict": {
|
|
|
|
"code": "15041",
|
|
|
|
"name": "甘肃省林区中级法院"
|
|
|
|
},
|
|
|
|
"third_level_dict": {
|
|
|
|
"code": "15334",
|
|
|
|
"name": "小陇山林区法院"
|
|
|
|
},
|
|
|
|
"current_page": "1"
|
|
|
|
},
|
|
|
|
"spider_name": "paimai_rmfysszc",
|
|
|
|
"spider_ip": "192.168.108.157",
|
|
|
|
"proxy_ip": "http://101.133.174.56:1805"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
## 实际爬虫结果的数据结构
|
|
|
|
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
|
|
|
|
```json
|
| ... | ... | |
