Skip to content

GitLab

hearing_announcement · Changes

Page history
add: hearing_accoucement authored by 倾尽天下's avatar 倾尽天下
Show whitespace changes
Inline Side-by-side
Showing with 477 additions and 0 deletions
data_stream/risk/hearing_announcement.md 0 → 100644
View page @ e2c1e4cb
# **基本信息**
```
开庭公告
每天轮询所有已知的网站的某些页面，爬到的数据爬虫部分将能解析的字段均已解析。如果存在剩下的爬虫环节难以提取的字段，需要后续清洗环节处理的字段，
会将原始数据存放在source_data字段中，具体见爬虫结果数据。
```
## 数据名称（中文）
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
```
开庭公告
```
## 数据英文名称
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
```
hearing_announcement
```
## 采集网站（采集入口）
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
```
参考: "开庭公告采集"群 的 开庭公告采集网站-初步分工.xlsx 文件
```
## 采集频率及采集策略
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
对于不同的网站，针对其更新速度不同，指定1，3，6，12，24小时跑一遍 根据数据量指定翻页数，依据内容MD5去重
### 存量更新策略
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
```
存量无需更新
增量按照网站的翻页数进行遍历更新
```
### 增量采集策略
<!--新增数据怎么来？无需单独采集新增数据？-->
```
增量按照网站的翻页取最新的几页
```
---
# **爬虫**
## 责任人
```
章一锋、瞿殿邦、袁波
```
## 爬虫名称
<!--spider_name-->
```
hearing_announcement
```
## 代码地址
```
http://office.pingansec.com:30080/granite/project-judicature/-/tree/dev_court_notice_v3
```
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key:
* hearing_announcement
### 优先级队列说明
## 任务来源
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
### domain代表网站域名, limit表示翻页数。 根据具体的网站情况, 会在crontab中确定网站更新频率。
```json
{
"domain": "xyfy.hicourt.gov.cn",
"limit": 3
}
```
### 任务样例
```json
{
"domain": "xyfy.hicourt.gov.cn",
"limit": 3
}
```
### 任务结果样例
```json
{
"task_result": 1000,
"data_type": "detail",
"data": [{
"court_name": "海口市秀英区人民法院",
"court_room": "少年法庭",
"contractors": null,
"start_date": "2020-07-01 14:30",
"plan_date": null,
"case_code": "(2020)琼0105民初328号",
"action_cause": "离婚纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "章君华;胡天兵",
"judge": "陈国琼",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "少年法庭",
"contractors": null,
"start_date": "2020-06-23 14:30",
"plan_date": null,
"case_code": "(2020)琼0105民初500号",
"action_cause": "离婚纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "王惠宜;叶朝辉",
"judge": "陈国琼",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第二法庭",
"contractors": null,
"start_date": "2020-06-09 08:30",
"plan_date": null,
"case_code": "(2020)琼0105民初295号",
"action_cause": "买卖合同纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "崔削山;海口盛源丰农业生产资料有限公司",
"judge": "黎雪",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第三法庭",
"contractors": null,
"start_date": "2020-06-03 09:00",
"plan_date": null,
"case_code": "(2019)琼0105民初6745号",
"action_cause": "建设工程合同纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "王刚;朱善略;王康孙;海南南北通投资有限公司",
"judge": "韩诚",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第三法庭",
"contractors": null,
"start_date": "2020-05-29 09:00",
"plan_date": null,
"case_code": "(2020)琼0105民初486号",
"action_cause": "买卖合同纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "海口托肯建材有限公司;广东亿润网络技术有限公司;佛山市顺德区高亮装饰材料有限公司",
"judge": "吴松林",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第四法庭",
"contractors": null,
"start_date": "2020-05-28 15:00",
"plan_date": null,
"case_code": "(2020)琼0105民初1507号",
"action_cause": "共有人优先购买权纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "海口光通光电子研究所;国网四川省电力公司达州供电公司;赵相红;胡林涛",
"judge": "王则朝",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第三法庭",
"contractors": null,
"start_date": "2020-05-28 15:00",
"plan_date": null,
"case_code": "(2020)琼0105民初1203号",
"action_cause": "案外人执行异议之诉",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "辛玉琢;曹津诚;海南银泉进出口贸易有限公司",
"judge": "吴松林",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第五法庭",
"contractors": null,
"start_date": "2020-05-28 09:00",
"plan_date": null,
"case_code": "(2020)琼0105民初1376号",
"action_cause": "房屋买卖合同纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "蔡巧英;海南国神华实业有限公司;海南天白翼未来科技有限公司",
"judge": "吴松林",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第三法庭",
"contractors": null,
"start_date": "2020-05-27 15:00",
"plan_date": null,
"case_code": "(2020)琼0105民初1380号",
"action_cause": "买卖合同纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "陈创甘;黄四川",
"judge": "吴松林",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}, {
"court_name": "海口市秀英区人民法院",
"court_room": "第三法庭",
"contractors": null,
"start_date": "2020-05-27 15:00",
"plan_date": null,
"case_code": "(2020)琼0105民初1383号",
"action_cause": "买卖合同纠纷",
"case_type": null,
"case_area": "海口市秀英区",
"plaintiff": null,
"defendant": null,
"litigant": "陈创甘;杜爱民",
"judge": "吴松林",
"title": null,
"article": null,
"province": "海南省",
"url": "http://xyfy.hicourt.gov.cn/preview/channel?columnId=5a0b2af8-fb49-4ecf-90fe-6694cb3d1cf8&&parentId=dd7fd507-d464-48a4-becc-cb01aff0c901&&siteId=a82def60-9a0b-48e8-aba2-909978e3e199",
"source_data": null,
"domain": "xyfy.hicourt.gov.cn"
}],
"http_code": 200,
"error_msg": "",
"metadata": {},
"spider_start_time": "2022-04-01 15:07:08",
"spider_end_time": "2022-04-01 15:07:08",
"spider_used_time_ms": 570,
"task_params": {
"domain": "xyfy.hicourt.gov.cn",
"limit": 3
},
"spider_name": "hearing_announcement",
"spider_ip": "192.168.0.196"
}
```
### 任务参数说明
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
```json
```
## data_type说明
<!--可能产生的data_type说明-->
```
data_type只有detail
```
## 爬虫结果的超级数据
<!--包含所有字段的json数据，每个value都要有样例值-->
### 数据来源很多，首次统一解析后结果如下
```json
```
## 爬虫运行环境
<!--udm模块？scrapy？或其他-->
```
scrapy
```
## 爬虫部署信息
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```
10.8.6.19
```
## Taskhub地址
```
```
## Taskhub调度规则说明
```
```
## 爬虫监控指标设计
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
```
(先观察，待补充)
索引:
监控频率:
监控起止时间:
报警条件:
报警群:
报警内容:
```
---
# **数据归集**
## 责任人
```
```
## 数据归集方式
- [ ] 爬虫直接写kafka
- [x] 爬虫写文件logstash采集
## 爬虫结果目录
```
```
## 归集后存放目录
```
```
## logstash配置文件名称
```
```
## logstash文件采集type
```
```
## 数据归集的topic
```
topic_id => "general-taxpayer"
```
## ES日志索引及筛选条件
```
```
## 监控指标看板
## 数据保留策略
---
# **数据清洗**
## 责任人
## 代码地址
## 部署地址
<!--机器及线上代码地址-->
## 部署方法及说明
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
- [ ] crontab + data_pump
- [ ] supervisor + data_pump
- [ ] supervisor + consumer
## 数据接收来源
<!--来源于kafka还是归集的文件、topic的group？-->
## 数据存储表地址
* 数据库地址：
* 表名：
\ No newline at end of file