Skip to content

GitLab

Last edited by yuanbo
Page history
This is an old version of this page. You can view the most recent version or browse the history.

risk_court_notice

基本信息 

法院公告爬虫
每天轮询所有已知的网站的某些页面，爬到的数据先存到文件，后续进行解析

数据名称（中文）

法院公告

法院公告信息

数据英文名称

risk court notice

risk_court_notice

采集网站（采集入口）

网站数据接口:
http://www.guizhoucourt.gov.cn/
有很多

采集频率及采集策略

对于不同的网站，针对其更新速度不同，指定1，3，6，12，24小时跑一遍 根据数据量指定翻页数，依据内容MD5去重

存量更新策略

存量无需更新
增量按照网站的翻页数进行遍历更新

增量采集策略

增量按照网站的翻页取最新的几页

爬虫

责任人

杨龙斌

爬虫名称

risk_court_notice

代码地址

项目地址:http://tech.pingansec.com/granite/project-judicature/-/tree/dev_court_notice

队列名称及队列地址

优先级队列说明

任务来源

对于已经写的爬虫，会在对应频率的文件下添加如下一行
涉及url，是否翻页
{"url_split": ["http://hnzzy.chinacourt.gov.cn/article/index/id/MzQ1NTBINiAOAAA/page/", "####", ".shtml"], "start_index": 1, "pages": 5, "task_type": "开庭公告", "method": "GET", "this_page": 3}

任务样例

{"url_split": ["http://hnzzy.chinacourt.gov.cn/article/index/id/MzQ1NTBINiAOAAA/page/", "####", ".shtml"], "start_index": 1, "pages": 5, "task_type": "开庭公告", "method": "GET", "this_page": 3}

任务参数说明

data_type说明

data_type只有detail

爬虫结果的超级数据

数据来源很多，首次统一解析后结果如下
{"type": "court_notices", "court": "连城县人民法院", "courtroom": "第五法庭", "startDate": "2019-10-11 09:00:00", "caseNo": "(2019)闽0825民初2319号", "caseReason": "机动车交通事故责任纠纷", "litigant": [{"name": "邹雄根", "role": ["原告"]}, {"name": "江锦生", "role": ["被告"]}], "content": "原告邹雄根与被告江锦生机动车交通事故责任纠纷", "publishdate": "2019-10-09 09:47:10", "source": "http://fjlcfy.chinacourt.gov.cn", "data_url": "http://fjlcfy.chinacourt.gov.cn/article/detail/2019/10/id/4500822.shtml", "judge": "", "uid": "", "data_md5": "2dd3d7348f35109bf600265dbfb682e1", "is_ok": true, "error_info": ""}

实际爬虫结果的数据结构

{"type": "court_notices", "court": "连城县人民法院", "courtroom": "第五法庭", "startDate": "2019-10-11 09:00:00", "caseNo": "(2019)闽0825民初2319号", "caseReason": "机动车交通事故责任纠纷", "litigant": [{"name": "邹雄根", "role": ["原告"]}, {"name": "江锦生", "role": ["被告"]}], "content": "原告邹雄根与被告江锦生机动车交通事故责任纠纷", "publishdate": "2019-10-09 09:47:10", "source": "http://fjlcfy.chinacourt.gov.cn", "data_url": "http://fjlcfy.chinacourt.gov.cn/article/detail/2019/10/id/4500822.shtml", "judge": "", "uid": "", "data_md5": "2dd3d7348f35109bf600265dbfb682e1", "is_ok": true, "error_info": ""}

爬虫运行环境

scrapy，udm初步解析

爬虫部署信息

机器：node_51
项目名称：judicature_spider

Taskhub地址

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息,表示官网查不到这个数据,同样需要解析入库


task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

/data/judicature_spiders/risk_court_notice/BDP-C-1001_10.8.6.51

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

topic_id => "general-taxpayer"

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：