Skip to content

GitLab

pc_wenshu · Changes

Page history
Update pc_wenshu authored by 蒋家升's avatar 蒋家升
Hide whitespace changes
Inline Side-by-side
Showing with 50 additions and 75 deletions
data_stream/pc/pc_wenshu.md
View page @ 26a2ec50
...@@ -33,16 +33,12 @@ https://wenshu.court.gov.cn/website/parse/rest.q4w ...@@ -33,16 +33,12 @@ https://wenshu.court.gov.cn/website/parse/rest.q4w
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略--> <!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
### 全量更新策略 ### 存量更新策略
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他--> <!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
```buildoutcfg ```buildoutcfg
存量连续更新，预计一周更新一轮。 每个月一次性取一年的数据量，按发布日期的逆序排序，取存量发布日期的最后日期以后的数据进行更新
db_host:
db_name:
db_user:
db_password:
``` ```
### 增量采集策略 ### 增量采集策略
...@@ -50,7 +46,7 @@ db_password: ...@@ -50,7 +46,7 @@ db_password:
<!--新增数据怎么来？无需单独采集新增数据？--> <!--新增数据怎么来？无需单独采集新增数据？-->
```buildoutcfg ```buildoutcfg
当前：接数据库已有数据的最后的时间开始，截止到当前的时间进行增量采集
``` ```
--- ---
...@@ -94,20 +90,23 @@ wenshu_spider ...@@ -94,20 +90,23 @@ wenshu_spider
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。--> <!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
```buildoutcfg ```buildoutcfg
以data_pump定时读入任务输入至redis的任务键上
``` ```
## 任务输入参数（样例） ## 任务输入参数（样例）
```json ```json
{ {
"cprq": "2021-08-01 TO 2021-08-01", "cprq_start": "2021-07-01",
"cprq_end": "2021-07-15",
"search_keys": "cprq", "search_keys": "cprq",
"order": "s41:desc", "order": "s51:desc",
"username": "17146647754" "username": "16521260653"
} }
{ {
"cprq": "2021-08-02 TO 2021-08-02", "cprq_start": "2021-07-16",
"cprq_end": "2021-07-31",
"s6": "01", "s6": "01",
"search_keys": "cprq,s6", "search_keys": "cprq,s6",
"order": "s41:asc", "order": "s41:asc",
...@@ -128,7 +127,8 @@ wenshu_spider ...@@ -128,7 +127,8 @@ wenshu_spider
```json ```json
{ {
"cprq": "2021-08-08 TO 2021-08-08", "cprq_start": "2021-08-01",
"cprq_end": "2021-08-01",
"search_keys": "cprq", "search_keys": "cprq",
"order": "s51:desc", "order": "s51:desc",
"username": "17146647754" "username": "17146647754"
...@@ -137,8 +137,10 @@ wenshu_spider ...@@ -137,8 +137,10 @@ wenshu_spider
> + 主要参数，必填： > + 主要参数，必填：
> + search_keys：输入条件参数名称，以英文逗号分隔。作用：取task_params中各对应的值，然后作为参数搜索值。 > + search_keys：输入条件参数名称，以英文逗号分隔。作用：取task_params中各对应的值，然后作为参数搜索值。
> + 条件参数（至少一个，通常为时间 `cprq`），目前支持参数如下： > + 条件参数（至少一个，通常为裁判日期），目前支持参数如下：
> + cprq：时间查询，格式 `%Y-%m-%d TO %Y-%m-%d` > + cprq：裁判日期，需要对应以下两个参数，格式均为 `%Y-%m-%d`
> + cprq_start：开始
> + cprq_end：结束
> + s4：法院层级 > + s4：法院层级
> + "1": 最高法院 > + "1": 最高法院
> + "2": 高级法院 > + "2": 高级法院
...@@ -178,52 +180,22 @@ wenshu_spider ...@@ -178,52 +180,22 @@ wenshu_spider
> + s51：裁判日期 > + s51：裁判日期
> + s52：审判程序 > + s52：审判程序
> + 冒号后为顺序：desc降序，asc升序 > + 冒号后为顺序：desc降序，asc升序
> + account：指定账号，不填时从配置文件中随机选择 > + account：指定账号，可选，默认为从配置文件中随机选择其一账号
## data_type说明 ## data_type说明
<!--可能产生的data_type说明--> <!--可能产生的data_type说明-->
```buildoutcfg ```buildoutcfg
detail: 详情信息 列表,其中每个字典为一条数据,只有这一种类型 detail: 详情信息,其中每个字典为一条数据,只有这一种类型
``` ```
## 爬虫结果的超级数据 ## 爬虫结果的超级数据
<!--包含所有字段的json数据，每个value都要有样例值--> <!--包含所有字段的json数据，每个value都要有样例值-->
```json ```text
{ 同以下实际爬虫结果
"data":
{
"detail_items":
[
{
"caseReason": ["合同、无因管理、不当得利纠纷"],
"litigant": ["刘方"],
"html": "<!DOCTYPE HTML PUBLIC -//W3C//DTD HTML 4.0 Transitional//EN'><HTML><HEAD><TITLE></TITLE></HEAD><BODY><div id='qt' style='TEXT-ALIGN: center; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 黑体; FONT-SIZE: 18pt;'>贵州省息烽县人民法院</div><div id='qt' style='TEXT-ALIGN: center; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 黑体; FONT-SIZE: 18pt;'>结 案 通 知 书</div><div id='1' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 宋体;FONT-SIZE: 15pt; '>（2021）黔0122执1295号</div><div id='2' style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>本院依据已经发生法律效力的（2017）黔0122刑初155号刑事判决书，立案执行刘方缴纳罚金一案，经本院执行，被执行人已将生效法律文书所确定的义务履行完毕，本案以执行完毕结案。</div><div id='qt' style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>特此通知。</div><div id='qt' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>审判员　　杨熙勇</div><div id='qt' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>二〇二一年八月八日</div><div id='7' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>书记员　　简厚鑫</div></BODY></HTML>",
"content": "本院依据已经发生法律效力的（2017）黔0122刑初155号刑事判决书，立案执行刘方缴纳罚金一案，经本院执行，被执行人已将生效法律文书所确定的义务履行完毕，本案以执行完毕结案",
"case_code": "（2021）黔0122执1295号",
"docid": "be5c58ab4ffe4249a193ad7f016d7dde"
}
]
}
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-08-17 09:25:10",
"spider_end_time": "2021-08-17 09:26:01",
"task_params":
{
"cprq": "2021-08-08 TO 2021-08-08",
"search_keys": "cprq",
"order": "s41:desc",
"username": "17146647754"
},
"metadata":{},
"spider_name": "wenshu_spider",
"spider_ip": "192.168.108.74",
"spider_proxy_source": "",
}
``` ```
## 实际爬虫结果的数据结构 ## 实际爬虫结果的数据结构
...@@ -234,35 +206,38 @@ detail: 详情信息 列表,其中每个字典为一条数据,只有这一种类 ...@@ -234,35 +206,38 @@ detail: 详情信息 列表,其中每个字典为一条数据,只有这一种类
```json ```json
{ {
"data": "spider_start_time": "2021-08-23 15:54:57.839542",
{ "spider_end_time": "2021-08-23 15:55:34",
"detail_items": "spider_name": "wenshu_spider",
[
{
"caseReason": ["合同、无因管理、不当得利纠纷"],
"litigant": ["刘方"],
"html": "<!DOCTYPE HTML PUBLIC -//W3C//DTD HTML 4.0 Transitional//EN'><HTML><HEAD><TITLE></TITLE></HEAD><BODY><div id='qt' style='TEXT-ALIGN: center; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 黑体; FONT-SIZE: 18pt;'>贵州省息烽县人民法院</div><div id='qt' style='TEXT-ALIGN: center; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 黑体; FONT-SIZE: 18pt;'>结 案 通 知 书</div><div id='1' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 宋体;FONT-SIZE: 15pt; '>（2021）黔0122执1295号</div><div id='2' style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>本院依据已经发生法律效力的（2017）黔0122刑初155号刑事判决书，立案执行刘方缴纳罚金一案，经本院执行，被执行人已将生效法律文书所确定的义务履行完毕，本案以执行完毕结案。</div><div id='qt' style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>特此通知。</div><div id='qt' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>审判员　　杨熙勇</div><div id='qt' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>二〇二一年八月八日</div><div id='7' style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>书记员　　简厚鑫</div></BODY></HTML>",
"content": "本院依据已经发生法律效力的（2017）黔0122刑初155号刑事判决书，立案执行刘方缴纳罚金一案，经本院执行，被执行人已将生效法律文书所确定的义务履行完毕，本案以执行完毕结案",
"case_code": "（2021）黔0122执1295号",
"docid": "be5c58ab4ffe4249a193ad7f016d7dde"
}
]
}
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-08-17 09:25:10",
"spider_end_time": "2021-08-17 09:26:01",
"task_params": "task_params":
{ {
"cprq": "2021-08-08 TO 2021-08-08", "cprq_start": "2021-08-15",
"cprq_end": "2021-08-15",
"search_keys": "cprq", "search_keys": "cprq",
"order": "s41:desc", "order": "s51:desc",
"username": "17146647754" "username": "17102541093"
}, },
"metadata":{}, "task_value": "47bb598bdc014f70ad8dad8601848c25",
"spider_name": "wenshu_spider", "detail_items":
"spider_ip": "192.168.108.74", [
"spider_proxy_source": "", {
"title": "湖南新化农村商业银行股份有限公司；罗益长；杨爱华借款合同纠纷执行实施类执行通知书",
"court_name": "湖南省新化县人民法院",
"case_code": "（2021）湘1322执649号",
"trial_procedure": "执行实施",
"caseReason":["借款合同纠纷"],
"litigant":["湖南新化农村商业银行股份有限公司；罗益长；杨爱华"],
"content": "申请执行人湖南新化农村商业银行股份有限公司与被执行人罗益长、杨爱华借款合同纠纷一案，本院在执行过程中，被执行人履行了（2020）湘1322民初4095号民事判决书所确定的义务。另收取被执行人案件受理费522元，申请执行费645.9元，并已交接清楚。故此，该案执行结案",
"judgedate": "2021-08-15",
"publishdate": "2021-08-17",
"docid": "47bb598bdc014f70ad8dad8601848c25",
"html": "H4sIAHZUI2EC/9WWXU8aWRjHv8rpFVc6w5tdlJJYmSoJYtOdza5717Rml6Tr7lqyyd5hLTgIggSEykLsWLEmvuHSlWFA/TCe55zhyq/QZxh0rSWbbnpBe3PmnOfMmfye//NyxnvHPzMhzz6UyJQ8HSQPv7sfDEyQIUH43jkhCH7Zb9ldwyKRFx7PPw9Hwr/OP34mCFLI5vOaezhK436fVw7IQcnnFa6elvX+jH/W530a/oOEn96z/R6xEfI88uezuXs2WfpBHhoPBiZDo+TJ3HxkbmGMBAMhaWhKCkxOyaPE4f4tMkamxx9NBvAVcRiXRHzyyxh5MBOShx6MTweCs6Ok08rS01zP+G3gR2mU2L/BgzYfaxZgtcjLi6xQg1QB0udU11kty+rrnY0tr4BQgyJLvCWGmiK8lSNMVUgnWiJ8s0poc+cWlr0/1UL4p58jnwr1IRUcJk2qm1DdgzbfZVtxiA77ZTvBmq/sTocDMUdcHsg0/kOrPghd0EDIL4XQ5BT7U/VjIrehbD6erxtHDQRBuczodUPai2e8zCpZWI9TrdTJneALxguVtk5ZOdHZWIPYPmS0y3aKnmZYIgrl2sfpwLZiRjIL7ShkspDS0X+erlFthWmqoRY7izmUwlxuxahWNhpHThG1uIi+GJwcmLpwWKKtN4a6a8pRSRu1TZY/Qz+No6opQfYN1ZOd9fOBYsLbPEu8Qky+FkdMONhghWWI/YOYvN6ySE1XzpIICytqZ2nXCjFvvUR2M2rds6yyhKG8bJd4ognKHksraBmoZ8bW3nUy8tMi/2vF4uX5Bo52z10Rmu9crKzYnaxYhWWd5zdxgx0nWDGDEzNpa9leWl7l4RfjEavscuUYVtMmabVueeREj9ymR55P98gK9LVAtJmEndbHbjq/lj5CtXTfyF9EF681g+gm2z+DNQXWUlx/zfUG1aLY3U2xyvt440C5l+XG+TLfTVLtwCzbG5+F42p3Erc6sXijE9eyoFRcoseNHQgXZtko2xCv442B3Y2rh9gWeOklbSawnFBoyOyw/AlkCh+EV1VoC41FLC3jXdPtcEBsqZu8/4qD9hGXe9hj7UDzBBp/U32bpatMi7FqCb/N1mPsYNtqOfjJq8rN4XygmYxNArnwLsWr9BbF3c+7Rp0jJsn/5aF66iK6jCPmAdYQxPawimB1kep5rKQeoWD9IAndP6n326b1i40JAAA="
}
],
"http_code": 200,
"task_result": 1000,
"data_type": "detail",
"spider_ip": "10.8.1.30"
} }
``` ```
...@@ -279,8 +254,8 @@ scrapy ...@@ -279,8 +254,8 @@ scrapy
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？--> <!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```buildoutcfg ```buildoutcfg
机器： 机器：node_51
项目名称：gravel_spider 项目名称：judicature_spider
``` ```
## Taskhub地址 ## Taskhub地址
......