This is an old version of this page. You can view the most recent version or browse the history.

pc_wenshu

基本信息

裁判文书爬虫(列表页与详情页合并，仅输出详情页结果)

数据名称（中文）

裁判文书

数据英文名称

wenshu

采集网站（采集入口）

网站数据接口:
https://wenshu.court.gov.cn/website/parse/rest.q4w

采集频率及采集策略

存量更新策略

存量策略待讨论决定

增量采集策略

接数据库已有数据的最后的时间开始，截止到当前的时间进行增量采集

爬虫

责任人

蒋家升

爬虫名称

wenshu_spider

代码地址

项目地址:http://tech.pingansec.com/granite/project-gravel/-/tree/develop_general_taxpayer/scrapy_spiders/gravel_spiders/spiders

队列名称及队列地址

redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/0
redis port: 6379
redis db: 0
redis key:
- wenshu_keys

优先级队列说明

任务来源

任务输入参数（样例）

{
    "cprq_start": "2021-07-01",
    "cprq_end": "2021-07-15",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "16521260653"
}

{
    "cprq_start": "2021-07-16",
    "cprq_end": "2021-07-31",
    "s6": "01",
    "search_keys": "cprq,s6",
    "order": "s41:asc",
    "username": "17146647754"
}

任务样例

任务参数说明

{
    "cprq_start": "2021-08-01",
    "cprq_end": "2021-08-01",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "17146647754"
}

主要参数，必填：

search_keys：输入条件参数名称，以英文逗号分隔。作用：取task_params中各对应的值，然后作为参数搜索值。

条件参数（至少一个，通常为裁判日期），目前支持参数如下：

cprq：裁判日期，需要对应以下两个参数，格式均为 %Y-%m-%d

cprq_start：开始

cprq_end：结束

s4：法院层级

"1": 最高法院

"2": 高级法院

"3": 中级法院

"4": 基层法院

s6：文书类型

"01": 判决书

"02": 裁定书

"03": 调解书

"04": 决定书

"05": 通知书

"09": 令

"10": 其他

s8：案件类型

"01": 管辖案件

"02": 刑事案件

"03": 民事案件

"04": 行政案件

"05": 国家赔偿与司法救助案件

"06": 区际司法协助案件

"07": 国际司法协助案件

"08": 司法制裁案件

"09": 非诉保全审查案件

"10": 执行案件

"11": 强制清算与破产案件

"99": 其他案件

s11：一级案由类型

"1": 刑事案由

"9000": 民事案由

"3200": 执行案由

"2100": 国家赔偿案由

"xzay": 行政案由

其他参数

order：在搜索时的排序，可选，默认为 s51:desc

冒号前为排序条件

s50：法院层级

s51：裁判日期

s52：审判程序

冒号后为顺序：desc降序，asc升序

account：指定账号，可选，默认为从配置文件中随机选择其一账号

data_type说明

detail: 详情信息,其中每个字典为一条数据,只有这一种类型

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

详情页爬虫，通过时间条件"search_keys": "cprq"爬取

{
  "task_result": 1000,
  "data_type": "detail",
  "spider_start_time": "2021-08-17 18:12:55",
  "spider_end_time": "2021-08-17 18:13:20",
  "task_params":
  {
    "cprq_start": "2021-08-15",
    "cprq_end": "2021-08-15",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "17102540314"
  },
  "metadata": {},
  "spider_name": "wenshu_spider",
  "spider_ip": "192.168.108.74",
  "spider_proxy_source": "",
  "data":
  {
    "detail_items":
    [
      {
        "title": "张锦生、李丽借款合同纠纷执行实施类执行裁定书",
        "court_name": "辽宁省朝阳市双塔区人民法院",
        "case_code": "（2021）辽1302执580号",
        "trial_procedure": "执行实施",
        "caseReason":["借款合同纠纷"],
        "litigant":["张锦生","李丽"],
        "content": "本院在执行申请执行人张锦生与被执行人李丽借款合同纠纷一案中，申请执行人张锦生于2021年3月2日向本院申请执行。本院在执行过程中，申请执行人书面向本院提出撤回执行程序申请",
        "judgedate": "2021-08-15",
        "publishdate": "2021-08-16",
        "docid": "3ecd6e53234a4af69ceaad8500ea6100",
        "html": "<!DOCTYPE HTML PUBLIC -//W3C//DTD HTML 4.0 Transitional//EN'><HTML><HEAD><TITLE></TITLE></HEAD><BODY><div style='TEXT-ALIGN: center; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 黑体; FONT-SIZE: 18pt;'>辽宁省朝阳市双塔区人民法院</div><div style='TEXT-ALIGN: center; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm; FONT-FAMILY: 黑体; FONT-SIZE: 18pt;'>执 行 裁 定 书</div><div id='1'  style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 0cm;  FONT-FAMILY: 宋体;FONT-SIZE: 15pt; '>（2021）辽1302执580号</div><div id='2'  style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>申请执行人张锦生，男，1951年3月5日出生，汉族，退休职工，住朝阳市双塔区。</div><div style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>被执行人李丽，女，1960年12月28日出生，汉族，朝阳县教师进修学校教师，住朝阳市双塔区。</div><div id='2'  style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>本院在执行申请执行人张锦生与被执行人李丽借款合同纠纷一案中，申请执行人张锦生于2021年3月2日向本院申请执行。本院在执行过程中，申请执行人书面向本院提出撤回执行程序申请，依照《中华人民共和国民事诉讼法》第二百五十七条第一项，裁定如下：</div><div id='1'  style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>终结（2021）辽1302执580号案件的执行。</div><div style='LINE-HEIGHT: 25pt; TEXT-INDENT: 30pt; MARGIN: 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>本裁定送达后立即生效。</div><div style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>审判长　席　牧</div><div style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>审判员　吴建军</div><div style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>审判员　于　江</div><div style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>二〇二一年八月十五日</div><div id='7'  style='TEXT-ALIGN: right; LINE-HEIGHT: 25pt; MARGIN: 0.5pt 36pt 0.5pt 0cm;FONT-FAMILY: 宋体; FONT-SIZE: 15pt;'>书记员　赵　爽</div></BODY></HTML>"
      }
    ]
  }
}

爬虫运行环境

scrapy

爬虫部署信息

机器：
项目名称：gravel_spider

Taskhub地址

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息,表示官网查不到这个数据,同样需要解析入库

task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

范召贤

数据归集方式

爬虫直接写kafka
爬虫写文件logstash采集

爬虫结果目录

/data/gravel_spiders/wenshu_spider

pc_wenshu

基本信息

数据名称（中文）

数据英文名称

采集网站（采集入口）

采集频率及采集策略

存量更新策略

增量采集策略

爬虫

责任人

爬虫名称

代码地址

队列名称及队列地址

优先级队列说明

任务来源

任务输入参数（样例）

任务样例

任务参数说明

data_type说明

爬虫结果的超级数据

实际爬虫结果的数据结构

爬虫运行环境

爬虫部署信息

Taskhub地址

Taskhub调度规则说明

爬虫监控指标设计

数据归集

责任人

数据归集方式

爬虫结果目录

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

数据接收来源

数据存储表地址