基本信息

数据名称（中文）

律师事务所

数据英文名称

law_office

采集网站（采集入口）

http://12348.moj.gov.cn/#/publicies/lawdept/lawdept

采集频率及采集策略

基本是一次性工作，暂不需要周期调度

存量更新策略

增量采集策略

---

爬虫名称以及平台

爬虫名称: law_office  
平台: 中国法律服务网-律师事务所

责任人

袁波

代码地址

项目地址
http://192.168.109.110/granite/project-gravel/-/tree/develop_adsearch_20210517/scrapy_spiders/gravel_spiders/spiders

项目入口脚本
http://192.168.109.110/granite/project-gravel/-/blob/develop_adsearch_20210517/scrapy_spiders/gravel_spiders/spiders/law_office.py

代码具体实现板块
http://192.168.109.110/granite/project-gravel/-/tree/develop_adsearch_20210517/scrapy_spiders/gravel_spiders/spiders/law_office_reqs

队列名称及队列地址

• redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
• redis port: 6379
• redis db: 7
• redis key: law_office

优先级队列说明

law_office
说明:无特别处理，都是默认优先级10

任务来源

ajax请求，json数据格式返回
http://12348.moj.gov.cn/lawerdeptlist/getlawerdeptlist

任务输入参数（样例）

{
    "platform": "law_office",
    "data_type": "list"
}

任务样例

{
    "platform": "law_office",
    "data_type: "list",
}

任务参数说明

{
    "area_code": "law_office",
    "data_type": "list"
}
说明: 任务直接到redis,不经过taskhub

data_type说明

list: 入口url
detail: 某个详情页的数据
log: 日志记录

爬虫结果的超级数据

{
	"data": [{
		"jj": "",
		"pzslsj": "2010-05-13",
		"zzxs": "02",
		"lsswsmc": "重庆道润律师事务所",
		"zsdh": "023-67686602",
		"zyzh": "25001201010281592",
		"cz": "023-67686602",
		"zsd": "重庆市北部新区高新园区宝华大道10号1幢1区17-6、17-7、17-8、17-9、17-10",
		"jd": "106.55640000004154",
		"tyshxydm": "31500000552049937N",
		"wd": "29.610119006729243",
		"ywzclist": [],
		"nums": 5
	}],
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-08-20 13:14:27.338",
	"spider_end_time": "2021-08-20 13:16:30.341",
	"task_params": {
		"platform": "law_office",
		"data_type": "list"
	},
	"metadata": {
		"current_page": 2515
	},
	"spider_name": "law_office",
	"spider_ip": "10.8.1.10",
	"proxy_ip": "http://127.0.0.1:8888"
}

实际爬虫结果的数据结构

爬虫运行环境

scrapy

爬虫部署信息

10.8.6.76   3个进程

Taskhub地址

Taskhub调度规则说明

爬虫监控指标设计

爬虫待采集结果目录

/data/gravel_spiders/law_office

---

数据归集

责任人

范召贤

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

归集后存放目录

/data2_227/grvael_spider_result/law_office

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael_spider_to_es.conf(入es)

logstash文件采集type

type=>"law_office"

数据归集的topic

topic_id => "public-company-spider-data"

ES日志索引及筛选条件

index => "public-company-spider-data-%{log_date}"

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• [ ]
• [ ]
• [ ]

数据接收来源

数据存储表地址

• 数据库地址：
• 表名：