Skip to content

GitLab

Last edited by yuanbo
Page history
This is an old version of this page. You can view the most recent version or browse the history.

risk_court_notice

基本信息 

法院公告爬虫
每天轮询所有已知的网站的某些页面，爬到的数据先存到文件，后续进行解析

数据名称（中文）

法院公告

法院公告信息

数据英文名称

risk court notice

risk_court_notice

采集网站（采集入口）

网站数据接口:
http://www.guizhoucourt.gov.cn/
有很多

采集频率及采集策略

对于不同的网站，针对其更新速度不同，指定1，3，6，12，24小时跑一遍 根据数据量指定翻页数，依据内容MD5去重

存量更新策略

存量无需更新
增量按照网站的翻页数进行遍历更新

增量采集策略

增量按照网站的翻页取最新的几页

爬虫

责任人

杨龙斌

爬虫名称

risk_court_notice

代码地址

项目地址:http://tech.pingansec.com/granite/project-judicature/-/tree/dev_court_notice

队列名称及队列地址

优先级队列说明

任务来源

对于已经写的爬虫，会在对应频率的文件下添加如下一行
涉及url，是否翻页
{"url_split": ["http://hnzzy.chinacourt.gov.cn/article/index/id/MzQ1NTBINiAOAAA/page/", "####", ".shtml"], "start_index": 1, "pages": 5, "task_type": "开庭公告", "method": "GET", "this_page": 3}

任务样例

{"url_split": ["http://hnzzy.chinacourt.gov.cn/article/index/id/MzQ1NTBINiAOAAA/page/", "####", ".shtml"], "start_index": 1, "pages": 5, "task_type": "开庭公告", "method": "GET", "this_page": 3}

任务参数说明

data_type说明

data_type只有detail

爬虫结果的超级数据

数据来源很多，首次统一解析后结果如下
{"data": {"court_items": [{"source": "http://hdzy.hbsfgk.org", "data": "<div class=\"ywzw_con_inner\">\r\n\t\t\t\t\t<p class=\"p_source \">2021-08-06　来源: 魏县人民法院</p>\r\n\t\t\t\t\t<h3 class=\"h3_title\">魏县人民法院</h3>\r\n\t\t\t\t\t<p class=\"p_notice\">公  告</p>\r\n\t\t\t\t\t<p class=\"p_text\">我院定于2021年10月28日 09时30分在本院第二审判庭依法公开审理姜国平诉任乃平民间借贷纠纷一案。</p>\r\n\t\t\t\t\t<p class=\"p_tcgg\">特此公告</p>\r\n\t\t\t\t\t<p class=\"p_date\">二〇二一年八月六日</p>\r\n\t\t\t\t</div>\r\n\t\t\t", "refer": "http://hdzy.hbsfgk.org/ktggInfo.jspx?fyid=153&bh=1D53B4BA51209B45055BB3DA0BE58188&isapp=null", "task_type": "开庭公告"}]}, "http_code": 200, "error_msg": "", "task_result": 1000, "data_type": "detail", "spider_start_time": "2021-08-17 17:23:45.238", "spider_end_time": "2021-08-17 17:23:56", "task_params": {}, "metadata": {}, "spider_name": "risk_court_notice", "spider_ip": "192.168.56.1"}

实际爬虫结果的数据结构

{"data": {"court_items": [{"source": "http://hdzy.hbsfgk.org", "data": "<div class=\"ywzw_con_inner\">\r\n\t\t\t\t\t<p class=\"p_source \">2021-08-06　来源: 魏县人民法院</p>\r\n\t\t\t\t\t<h3 class=\"h3_title\">魏县人民法院</h3>\r\n\t\t\t\t\t<p class=\"p_notice\">公  告</p>\r\n\t\t\t\t\t<p class=\"p_text\">我院定于2021年10月28日 09时30分在本院第二审判庭依法公开审理姜国平诉任乃平民间借贷纠纷一案。</p>\r\n\t\t\t\t\t<p class=\"p_tcgg\">特此公告</p>\r\n\t\t\t\t\t<p class=\"p_date\">二〇二一年八月六日</p>\r\n\t\t\t\t</div>\r\n\t\t\t", "refer": "http://hdzy.hbsfgk.org/ktggInfo.jspx?fyid=153&bh=1D53B4BA51209B45055BB3DA0BE58188&isapp=null", "task_type": "开庭公告"}]}, "http_code": 200, "error_msg": "", "task_result": 1000, "data_type": "detail", "spider_start_time": "2021-08-17 17:23:45.238", "spider_end_time": "2021-08-17 17:23:56", "task_params": {}, "metadata": {}, "spider_name": "risk_court_notice", "spider_ip": "192.168.56.1"}

爬虫运行环境

scrapy，udm初步解析

爬虫部署信息

机器：node_51
项目名称：judicature_spider

Taskhub地址

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息,表示官网查不到这个数据,同样需要解析入库


task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

/data/judicature_spiders/risk_court_notice/BDP-C-1001_10.8.6.51

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

topic_id => "general-taxpayer"

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：