This is an old version of this page. You can view the most recent version or browse the history.

pc_wenshu

基本信息

裁判文书爬虫(列表页与详情页合并，仅输出详情页结果)

数据名称（中文）

裁判文书

数据英文名称

wenshu

采集网站（采集入口）

网站数据接口:
https://wenshu.court.gov.cn/website/parse/rest.q4w

采集频率及采集策略

存量更新策略

每个月一次性取一年的数据量，按发布日期的逆序排序，取存量发布日期的最后日期以后的数据进行更新

增量采集策略

当前：接数据库已有数据的最后的时间开始，截止到当前的时间进行增量采集

爬虫

责任人

蒋家升

爬虫名称

wenshu_spider

代码地址

项目地址:http://tech.pingansec.com/granite/project-gravel/-/tree/develop_general_taxpayer/scrapy_spiders/gravel_spiders/spiders

队列名称及队列地址

redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/0
redis port: 6379
redis db: 0
redis key:
- wenshu_keys

优先级队列说明

任务来源

以data_pump定时读入任务输入至redis的任务键上

任务输入参数（样例）

{
    "cprq_start": "2021-07-01",
    "cprq_end": "2021-07-15",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "16521260653"
}

{
    "cprq_start": "2021-07-16",
    "cprq_end": "2021-07-31",
    "s6": "01",
    "search_keys": "cprq,s6",
    "order": "s41:asc",
    "username": "17146647754"
}

任务样例

任务参数说明

{
    "cprq_start": "2021-08-01",
    "cprq_end": "2021-08-01",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "17146647754"
}

主要参数，必填：

search_keys：输入条件参数名称，以英文逗号分隔。作用：取task_params中各对应的值，然后作为参数搜索值。

条件参数（至少一个，通常为裁判日期），目前支持参数如下：

cprq：裁判日期，需要对应以下两个参数，格式均为 %Y-%m-%d

cprq_start：开始

cprq_end：结束

s4：法院层级

"1": 最高法院

"2": 高级法院

"3": 中级法院

"4": 基层法院

s6：文书类型

"01": 判决书

"02": 裁定书

"03": 调解书

"04": 决定书

"05": 通知书

"09": 令

"10": 其他

s8：案件类型

"01": 管辖案件

"02": 刑事案件

"03": 民事案件

"04": 行政案件

"05": 国家赔偿与司法救助案件

"06": 区际司法协助案件

"07": 国际司法协助案件

"08": 司法制裁案件

"09": 非诉保全审查案件

"10": 执行案件

"11": 强制清算与破产案件

"99": 其他案件

s11：一级案由类型

"1": 刑事案由

"9000": 民事案由

"3200": 执行案由

"2100": 国家赔偿案由

"xzay": 行政案由

其他参数

order：在搜索时的排序，可选，默认为 s51:desc

冒号前为排序条件

s50：法院层级

s51：裁判日期

s52：审判程序

冒号后为顺序：desc降序，asc升序

account：指定账号，可选，默认为从配置文件中随机选择其一账号

data_type说明

detail: 详情信息,其中每个字典为一条数据,只有这一种类型

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

详情页爬虫，通过时间条件"search_keys": "cprq"爬取

{
  "spider_start_time": "2021-08-23 15:54:57.839542",
  "spider_end_time": "2021-08-23 15:55:34",
  "spider_name": "wenshu_spider",
  "task_params":
  {
    "cprq_start": "2021-08-15",
    "cprq_end": "2021-08-15",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "17102541093"
  },
  "task_value": "47bb598bdc014f70ad8dad8601848c25",
  "detail_items":
  [
    {
      "title": "湖南新化农村商业银行股份有限公司；罗益长；杨爱华借款合同纠纷执行实施类执行通知书",
      "court_name": "湖南省新化县人民法院",
      "case_code": "（2021）湘1322执649号",
      "trial_procedure": "执行实施",
      "caseReason":["借款合同纠纷"],
      "litigant":["湖南新化农村商业银行股份有限公司；罗益长；杨爱华"],
      "content": "申请执行人湖南新化农村商业银行股份有限公司与被执行人罗益长、杨爱华借款合同纠纷一案，本院在执行过程中，被执行人履行了（2020）湘1322民初4095号民事判决书所确定的义务。另收取被执行人案件受理费522元，申请执行费645.9元，并已交接清楚。故此，该案执行结案",
      "judgedate": "2021-08-15",
      "publishdate": "2021-08-17",
      "docid": "47bb598bdc014f70ad8dad8601848c25",
      "html": "H4sIAHZUI2EC/9WWXU8aWRjHv8rpFVc6w5tdlJJYmSoJYtOdza5717Rml6Tr7lqyyd5hLTgIggSEykLsWLEmvuHSlWFA/TCe55zhyq/QZxh0rSWbbnpBe3PmnOfMmfye//NyxnvHPzMhzz6UyJQ8HSQPv7sfDEyQIUH43jkhCH7Zb9ldwyKRFx7PPw9Hwr/OP34mCFLI5vOaezhK436fVw7IQcnnFa6elvX+jH/W530a/oOEn96z/R6xEfI88uezuXs2WfpBHhoPBiZDo+TJ3HxkbmGMBAMhaWhKCkxOyaPE4f4tMkamxx9NBvAVcRiXRHzyyxh5MBOShx6MTweCs6Ok08rS01zP+G3gR2mU2L/BgzYfaxZgtcjLi6xQg1QB0udU11kty+rrnY0tr4BQgyJLvCWGmiK8lSNMVUgnWiJ8s0poc+cWlr0/1UL4p58jnwr1IRUcJk2qm1DdgzbfZVtxiA77ZTvBmq/sTocDMUdcHsg0/kOrPghd0EDIL4XQ5BT7U/VjIrehbD6erxtHDQRBuczodUPai2e8zCpZWI9TrdTJneALxguVtk5ZOdHZWIPYPmS0y3aKnmZYIgrl2sfpwLZiRjIL7ShkspDS0X+erlFthWmqoRY7izmUwlxuxahWNhpHThG1uIi+GJwcmLpwWKKtN4a6a8pRSRu1TZY/Qz+No6opQfYN1ZOd9fOBYsLbPEu8Qky+FkdMONhghWWI/YOYvN6ySE1XzpIICytqZ2nXCjFvvUR2M2rds6yyhKG8bJd4ognKHksraBmoZ8bW3nUy8tMi/2vF4uX5Bo52z10Rmu9crKzYnaxYhWWd5zdxgx0nWDGDEzNpa9leWl7l4RfjEavscuUYVtMmabVueeREj9ymR55P98gK9LVAtJmEndbHbjq/lj5CtXTfyF9EF681g+gm2z+DNQXWUlx/zfUG1aLY3U2xyvt440C5l+XG+TLfTVLtwCzbG5+F42p3Erc6sXijE9eyoFRcoseNHQgXZtko2xCv442B3Y2rh9gWeOklbSawnFBoyOyw/AlkCh+EV1VoC41FLC3jXdPtcEBsqZu8/4qD9hGXe9hj7UDzBBp/U32bpatMi7FqCb/N1mPsYNtqOfjJq8rN4XygmYxNArnwLsWr9BbF3c+7Rp0jJsn/5aF66iK6jCPmAdYQxPawimB1kep5rKQeoWD9IAndP6n326b1i40JAAA="
    }
  ],
  "http_code": 200,
  "task_result": 1000,
  "data_type": "detail",
  "spider_ip": "10.8.1.30"
}

爬虫运行环境

scrapy

爬虫部署信息

机器：node_51
项目名称：judicature_spider

Taskhub地址

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息,表示官网查不到这个数据,同样需要解析入库

task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

范召贤

数据归集方式

爬虫直接写kafka
爬虫写文件logstash采集

爬虫结果目录

/data/judicature_spiders/wenshu_spider

归集后存放目录

/data2_227/grvael_spider_result/wenshu_spider

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf

logstash文件采集type

wenshu_spider

数据归集的topic

general-taxpayer

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

李子健

代码地址

项目地址:http://tech.pingansec.com/granite/project-gravel/-/tree/dev_to_mysql/app_conv_file/udms/conv_file

部署地址

10.8.6.47
/home/collie/product/app_conv_file

部署方法及说明

crontab + data_pump
supervisor + data_pump
supervisor + consumer

数据接收来源

10.8.6.227：/data2/grvael_spider_result/wenshu_spider

数据存储表地址

数据库地址：10.8.6.74
数据库类型：hive
库名：risk
表名：ods_lawsuit