| ... | ... | @@ -10,7 +10,8 @@ |
|
|
|
|
|
|
|
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
|
|
|
|
法院公告
|
|
|
|
###
|
|
|
|
|
|
|
|
###
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
法院公告信息
|
| ... | ... | @@ -20,6 +21,7 @@ |
|
|
|
|
|
|
|
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
|
|
|
|
risk court notice
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
risk_court_notice
|
|
|
|
```
|
| ... | ... | @@ -37,12 +39,12 @@ http://www.guizhoucourt.gov.cn/ |
|
|
|
## 采集频率及采集策略
|
|
|
|
|
|
|
|
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
|
|
|
|
对于不同的网站，针对其更新速度不同，指定1，3，6，12，24小时跑一遍
|
|
|
|
根据数据量指定翻页数，依据内容MD5去重
|
|
|
|
对于不同的网站，针对其更新速度不同，指定1，3，6，12，24小时跑一遍 根据数据量指定翻页数，依据内容MD5去重
|
|
|
|
|
|
|
|
### 存量更新策略
|
|
|
|
|
|
|
|
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
存量无需更新
|
|
|
|
增量按照网站的翻页数进行遍历更新
|
| ... | ... | @@ -109,6 +111,23 @@ risk_court_notice |
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
{"url_split": ["http://hnzzy.chinacourt.gov.cn/article/index/id/MzQ1NTBINiAOAAA/page/", "####", ".shtml"], "start_index": 1, "pages": 5, "task_type": "开庭公告", "method": "GET", "this_page": 3}
|
|
|
|
|
|
|
|
专门针对人民法院公告网的任务样例
|
|
|
|
{
|
|
|
|
"start_index": 1,
|
|
|
|
"pages": 1,
|
|
|
|
"task_type": "法院公告",
|
|
|
|
"method": "POST",
|
|
|
|
"this_page": 1,
|
|
|
|
"url_split": [
|
|
|
|
"https://rmfygg.court.gov.cn/web/rmfyportal/noticeinfo?p_p_id=noticelist_WAR_rmfynoticeListportlet&p_p_lifecycle=2&p_p_state=normal&p_p_mode=view&p_p_resource_id=initNoticeList&p_p_cacheability=cacheLevelPage&p_p_col_id=column-1&p_p_col_count=1"],
|
|
|
|
"search_args": { # 条件越细，数据越精确，越少
|
|
|
|
"search_content":"", # 搜索内容
|
|
|
|
"court_name": name, # 法院名称可模糊搜索
|
|
|
|
"notice_type":['裁判文书'], # 类型，，默认不写会把所有类型跑一遍
|
|
|
|
"stop_at_yesterday": True, # 是否只取到昨天的，过去数据不取
|
|
|
|
}
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
### 任务参数说明
|
| ... | ... | @@ -132,7 +151,10 @@ data_type只有detail |
|
|
|
|
|
|
|
```json
|
|
|
|
数据来源很多，首次统一解析后结果如下
|
|
|
|
{"data": {"court_items": [{"source": "http://hdzy.hbsfgk.org", "data": "<div class=\"ywzw_con_inner\">\r\n\t\t\t\t\t<p class=\"p_source \">2021-08-06 来源: 魏县人民法院</p>\r\n\t\t\t\t\t<h3 class=\"h3_title\">魏县人民法院</h3>\r\n\t\t\t\t\t<p class=\"p_notice\">公 告</p>\r\n\t\t\t\t\t<p class=\"p_text\">我院定于2021年10月28日 09时30分在本院第二审判庭依法公开审理姜国平诉任乃平民间借贷纠纷一案。</p>\r\n\t\t\t\t\t<p class=\"p_tcgg\">特此公告</p>\r\n\t\t\t\t\t<p class=\"p_date\">二〇二一年八月六日</p>\r\n\t\t\t\t</div>\r\n\t\t\t", "refer": "http://hdzy.hbsfgk.org/ktggInfo.jspx?fyid=153&bh=1D53B4BA51209B45055BB3DA0BE58188&isapp=null", "task_type": "开庭公告"}]}, "http_code": 200, "error_msg": "", "task_result": 1000, "data_type": "detail", "spider_start_time": "2021-08-17 17:23:45.238", "spider_end_time": "2021-08-17 17:23:56", "task_params": {}, "metadata": {}, "spider_name": "risk_court_notice", "spider_ip": "192.168.56.1"}
|
|
|
|
{
|
|
|
|
"data": {
|
|
|
|
"court_items": [{"source": "http://hdzy.hbsfgk.org", "data": "<div class=\"ywzw_con_inner\">\r\n\t\t\t\t\t<p class=\"p_source \">2021-08-06 来源: 魏县人民法院</p>\r\n\t\t\t\t\t<h3 class=\"h3_title\">魏县人民法院</h3>\r\n\t\t\t\t\t<p class=\"p_notice\">公 告</p>\r\n\t\t\t\t\t<p class=\"p_text\">我院定于2021年10月28日 09时30分在本院第二审判庭依法公开审理姜国平诉任乃平民间借贷纠纷一案。</p>\r\n\t\t\t\t\t<p class=\"p_tcgg\">特此公告</p>\r\n\t\t\t\t\t<p class=\"p_date\">二〇二一年八月六日</p>\r\n\t\t\t\t</div>\r\n\t\t\t", "refer": "http://hdzy.hbsfgk.org/ktggInfo.jspx?fyid=153&bh=1D53B4BA51209B45055BB3DA0BE58188&isapp=null", "task_type": "开庭公告"}]}, "http_code": 200, "error_msg": "", "task_result": 1000, "data_type": "detail", "spider_start_time": "2021-08-17 17:23:45.238", "spider_end_time": "2021-08-17 17:23:56", "task_params": {}, "metadata": {}, "spider_name": "risk_court_notice", "spider_ip": "192.168.56.1"
|
|
|
|
}
|
|
|
|
|
|
|
|
```
|
|
|
|
|
| ... | ... | @@ -141,7 +163,28 @@ data_type只有detail |
|
|
|
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
|
|
|
|
|
|
|
|
```json
|
|
|
|
{"data": {"court_items": [{"source": "http://hdzy.hbsfgk.org", "data": "<div class=\"ywzw_con_inner\">\r\n\t\t\t\t\t<p class=\"p_source \">2021-08-06 来源: 魏县人民法院</p>\r\n\t\t\t\t\t<h3 class=\"h3_title\">魏县人民法院</h3>\r\n\t\t\t\t\t<p class=\"p_notice\">公 告</p>\r\n\t\t\t\t\t<p class=\"p_text\">我院定于2021年10月28日 09时30分在本院第二审判庭依法公开审理姜国平诉任乃平民间借贷纠纷一案。</p>\r\n\t\t\t\t\t<p class=\"p_tcgg\">特此公告</p>\r\n\t\t\t\t\t<p class=\"p_date\">二〇二一年八月六日</p>\r\n\t\t\t\t</div>\r\n\t\t\t", "refer": "http://hdzy.hbsfgk.org/ktggInfo.jspx?fyid=153&bh=1D53B4BA51209B45055BB3DA0BE58188&isapp=null", "task_type": "开庭公告"}]}, "http_code": 200, "error_msg": "", "task_result": 1000, "data_type": "detail", "spider_start_time": "2021-08-17 17:23:45.238", "spider_end_time": "2021-08-17 17:23:56", "task_params": {}, "metadata": {}, "spider_name": "risk_court_notice", "spider_ip": "192.168.56.1"}
|
|
|
|
{
|
|
|
|
"data": {
|
|
|
|
"court_items": [
|
|
|
|
{
|
|
|
|
"source": "http://hdzy.hbsfgk.org",
|
|
|
|
"data": "<div class=\"ywzw_con_inner\">\r\n\t\t\t\t\t<p class=\"p_source \">2021-08-06 来源: 魏县人民法院</p>\r\n\t\t\t\t\t<h3 class=\"h3_title\">魏县人民法院</h3>\r\n\t\t\t\t\t<p class=\"p_notice\">公 告</p>\r\n\t\t\t\t\t<p class=\"p_text\">我院定于2021年10月28日 09时30分在本院第二审判庭依法公开审理姜国平诉任乃平民间借贷纠纷一案。</p>\r\n\t\t\t\t\t<p class=\"p_tcgg\">特此公告</p>\r\n\t\t\t\t\t<p class=\"p_date\">二〇二一年八月六日</p>\r\n\t\t\t\t</div>\r\n\t\t\t",
|
|
|
|
"refer": "http://hdzy.hbsfgk.org/ktggInfo.jspx?fyid=153&bh=1D53B4BA51209B45055BB3DA0BE58188&isapp=null",
|
|
|
|
"task_type": "开庭公告"
|
|
|
|
}
|
|
|
|
]
|
|
|
|
},
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1000,
|
|
|
|
"data_type": "detail",
|
|
|
|
"spider_start_time": "2021-08-17 17:23:45.238",
|
|
|
|
"spider_end_time": "2021-08-17 17:23:56",
|
|
|
|
"task_params": {},
|
|
|
|
"metadata": {},
|
|
|
|
"spider_name": "risk_court_notice",
|
|
|
|
"spider_ip": "192.168.56.1"
|
|
|
|
}
|
|
|
|
|
|
|
|
```
|
|
|
|
|
| ... | ... | |
