Skip to content

GitLab

Last edited by 蒋家升
Page history
This is an old version of this page. You can view the most recent version or browse the history.

pc_wenshu

基本信息 

裁判文书爬虫(列表页与详情页合并，仅输出详情页结果)

数据名称（中文）

裁判文书

数据英文名称

wenshu

采集网站（采集入口）

网站数据接口:
https://wenshu.court.gov.cn/website/parse/rest.q4w

采集频率及采集策略

存量更新策略

每个月一次性取一年的数据量，按发布日期的逆序排序，取存量发布日期的最后日期以后的数据进行更新

增量采集策略

当前：接数据库已有数据的最后的时间开始，截止到当前的时间进行增量采集

爬虫

责任人

蒋家升

爬虫名称

wenshu_spider

代码地址

项目地址:http://tech.pingansec.com/granite/project-gravel/-/tree/develop_general_taxpayer/scrapy_spiders/gravel_spiders/spiders

队列名称及队列地址

优先级队列说明

任务来源

以data_pump定时读入任务输入至redis的任务键上

任务输入参数（样例）

{
    "cprq_start": "2021-07-01",
    "cprq_end": "2021-07-15",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "16521260653"
}

{
    "cprq_start": "2021-07-16",
    "cprq_end": "2021-07-31",
    "s6": "01",
    "search_keys": "cprq,s6",
    "order": "s41:asc",
    "username": "17146647754"
}

任务样例

任务参数说明

{
    "cprq_start": "2021-08-01",
    "cprq_end": "2021-08-01",
    "search_keys": "cprq",
    "order": "s51:desc",
    "username": "17146647754"
}
  • 主要参数，必填：
    • search_keys：输入条件参数名称，以英文逗号分隔。作用：取task_params中各对应的值，然后作为参数搜索值。
  • 条件参数（至少一个，通常为裁判日期），目前支持参数如下：
    • cprq：裁判日期，需要对应以下两个参数，格式均为 %Y-%m-%d
      • cprq_start：开始
      • cprq_end：结束
    • s4：法院层级
      • "1": 最高法院
      • "2": 高级法院
      • "3": 中级法院
      • "4": 基层法院
    • s6：文书类型
      • "01": 判决书
      • "02": 裁定书
      • "03": 调解书
      • "04": 决定书
      • "05": 通知书
      • "09": 令
      • "10": 其他
    • s8：案件类型
      • "01": 管辖案件
      • "02": 刑事案件
      • "03": 民事案件
      • "04": 行政案件
      • "05": 国家赔偿与司法救助案件
      • "06": 区际司法协助案件
      • "07": 国际司法协助案件
      • "08": 司法制裁案件
      • "09": 非诉保全审查案件
      • "10": 执行案件
      • "11": 强制清算与破产案件
      • "99": 其他案件
    • s11：一级案由类型
      • "1": 刑事案由
      • "9000": 民事案由
      • "3200": 执行案由
      • "2100": 国家赔偿案由
      • "xzay": 行政案由
  • 其他参数
    • order：在搜索时的排序，可选，默认为 s51:desc
      • 冒号前为排序条件
        • s50：法院层级
        • s51：裁判日期
        • s52：审判程序
      • 冒号后为顺序：desc降序，asc升序
    • account：指定账号，可选，默认为从配置文件中随机选择其一账号

data_type说明

detail: 详情信息,其中每个字典为一条数据,只有这一种类型

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

  • 详情页爬虫，通过时间条件"search_keys": "cprq"爬取
{
  "spider_start_time": "2021-09-03 16:01:14.713180",
  "spider_name": "wenshu_spider",
  "task_params":
  {
    "search_keys": "cprq,s33,s6,s11",
    "order": "s51:desc",
    "cprq_start": "2021-05-31",
    "cprq_end": "2021-05-31",
    "s33": "河北省",
    "s6": "05",
    "s11": "1"
  },
  "task_value": "c2d949b515b14f409975ad51001e5299",
  "data":
  {
    "title": "王培宁非法制造爆炸物一案驳回申诉通知书",
    "court_name": "河北省沧州市中级人民法院",
    "case_code": "（2021）冀09刑申25号",
    "trial_procedure": "刑事审判监督",
    "caseReason": ["非法制造、买卖、运输、邮寄、储存枪支、弹药、爆炸物"],
    "litigant": ["李金琴","王培宁"],
    "content": "你为王培宁犯非法制造爆炸物罪一案，对河北省沧州市青县人民法院作出的（2020）冀0922刑初43号及河北省沧州市中级人民法院作出的（2020）冀09刑终550号刑事裁定书不服，以原审认定事实、定性和量刑均存在明显错误为理由，向我院提出申诉",
    "judgedate": "2021-05-31",
    "publishdate": "2021-06-24",
    "docid": "c2d949b515b14f409975ad51001e5299",
    "html": "H4sIAMnfMWEC/72V33LaRhTG7/MUO7nJlVssh7bBTt7FExOHGZtkHKbT9ErY/JEQCJSQiQ0ITGwCcUCyg5sIgfDDoLMrXfkVehZRmmJn4s60vmG0q2X3O7/vO9q1jdiv5EXi5Vb04d0nz+KJpRex36MRsvzL88QqmU48Wd+Obb2MEH+ouc7rVZKI/pZYWt+KbcYj5HE0nojurJLt9Z3NGI5DP4SfJ0jo8fYq2YrFo0tPo7HNp4kIEXD67qM7hH7qQ/4tqyXppzZ8qYO161o9Zrdd26anGu2/8Q/erf2Ikh7dWbtVYf6HPoFqnbByn3imTHyxQlijRdzB+6/1xDYe3lu+R67TFb6iCwzliq4dfuzNZV2OJCEkLF+OZMiIoQcgaShQCEPxy6Iq4d+qurFluupnNVY6vxxVFg9d+T8OnQGLxTfQwwhZCQU6XOfQtWymKtAYgJFkOdPX65gYkD774iGTMmzXYvIH5py4lkib0uUoD+bgauB8/RWoF18HznVqkLVZJRXQDv1FWxCQN0j6/RXkDcXcTcL7rb24c0MpHA7xrSTNtRXvKAlGBfPlWgVaK6Bcd9gCtQFG0zOO+StbAaM+EfkyKrbhVd7PFrkiPQu9fah16L5K98d++cAzTY6mlGHlM152SaOShmJoscTFlPuY6Im4u+je/Vt0j9a6KIgNi1gebbRQ5d9OVlLuuOpdnCJiz0xymrpKG6VlLB0XzZ6COWE+J+DfcLXXEXEvb9xBZqxbBucNB6bs+yf5+ZCpp1CzWbrN5Ox8CIO+r79jxzZNFaE6xk3m9rK9hpc744n6iPpkSHe88w6yZ1WN6Uf0SKR/KOg8XOwFzzTXAi3HejKrWpBG2ElaMKBoop+Bk/NS/5HY6SleweT1T61egOI18+gqraeoVPpW1NHVq5GhVpq2KhzLVAlrGrMcpdMgZXDeF3dZucM3HCu0d4QLeGpQp3MC2UwwDLKGK8F5fU12wreYHTYcuVaOOzQNEZaKXHi/OIfY4Z7Zwm5HXkHOgy7AnvL2HATHPioc6/QVTrLueyhJEzHH/SuoQedC+gybC6rOrDFN2TNGSGciKqzbde08Oxi7dhkKSdeSqd702ikOq5KCTIHHWW+6w8+coNrgTS0dg112bYkNz2k+ucDu1pjJA9o7xlsML7Fr7Pv5P7/DVn7iEr9zlyDLiZjFX/xEw+AcodKahFCnaEX6tjXT+SeEvFcylQgAAA=="
  },
  "http_code": 200,
  "task_result": 1000,
  "data_type": "detail",
  "spider_end_time": "2021-09-03 16:41:45",
  "spider_ip": "10.8.1.34"
}

爬虫运行环境

scrapy

爬虫部署信息

机器：node_51
项目名称：judicature_spider

Taskhub地址

Taskhub调度规则说明

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

范召贤

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

/data/judicature_spiders/wenshu_spider

归集后存放目录

/data2_227/grvael_spider_result/wenshu_spider

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf

logstash文件采集type

wenshu_spider

数据归集的topic

general-taxpayer

ES日志索引及筛选条件

public-company-spider-data-*

监控指标看板

数据保留策略

数据清洗

责任人

李子健

代码地址

项目地址:http://tech.pingansec.com/granite/project-gravel/-/tree/dev_to_mysql/app_conv_file/udms/conv_file

部署地址

10.8.6.47
/home/collie/product/app_conv_file

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

10.8.6.227：/data2/grvael_spider_result/wenshu_spider

数据存储表地址

  • 数据库地址：10.8.6.74
  • 数据库类型：hive
  • 库名：risk
  • 表名：ods_lawsuit