Skip to content

GitLab

bid_ccgp_neimenggu · Changes

Page history
git:add 内蒙古和云南的采集说明文档 authored by 胡学文's avatar 胡学文
Show whitespace changes
Inline Side-by-side
Showing with 201 additions and 0 deletions
requirement_doc/bid_ccgp_neimenggu.md 0 → 100644
View page @ 301cc755
# 来源网站
内蒙古自治区政府采购网
http://www.ccgp-neimenggu.gov.cn
# 采集内容
* 全部类型的采购公告（包含：招标公告、招标更正公告、中标(成交)公告、中标(成交)更正公告、废标公告、资格预审公告、资格预审更正公告）、单一来源公示、合同公告（包含：合同公告、履约验收公示）、电子卖场（包含：网上竞价公示、网上竞价成交公示、直购采购成交公示、网上询价公示、网上询价成交公示、定点服务采购竞价公示、定点服务采购成交公示、合同公示）
# 原始数据
## 列表
```html
[
[
{
"ADNAME": "鄂尔多斯市本级",
"ADCODE": "150600",
"PURNAME": "高等教育服务",
"PURCODE": "C1804",
"TITLE": "鄂尔多斯生态环境职业学院高职扩招校外教育基地采购招标公告",
"ENDDATE": "[截止：2022-02-10]",
"SUBDATE": "[截止：2022-01-29]",
"wp_mark_id": "1039666689",
"ay_table_tag": "1",
"cor_id": "1039667281",
"cor_table": "2",
"SHORTNAME": "鄂尔多斯市",
"type": "2",
"cor_type": "2"
},
{
"ADNAME": "鄂尔多斯国家高新技术产业开发区",
"ADCODE": "150631",
"PURNAME": "地震服务",
"PURCODE": "C0902",
"TITLE": "鄂尔多斯高新技术产业开发区区域性地震安全性评价项目竞争性磋商公告",
"ENDDATE": "[截止：2022-02-10]",
"SUBDATE": "[截止：2022-01-29]",
"wp_mark_id": "1039666677",
"ay_table_tag": "1",
"cor_id": null,
"cor_table": "2",
"SHORTNAME": null,
"type": "2",
"cor_type": "2"
},
......
],
"170104"
]
```
## 详情
```html
<div id="center">
<div class="title-box">
<p>鄂温克族自治旗市政园林环卫事业服务中心鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用采购实行单一来源采购方式的公示</p>
</div>
<div class="info-box">
<span class="feed-time">发布时间：2021年12月28日</span>
</div>
<div class="content-box-1" id="content-box-1">
<div class="noticeArea">
<h4><strong>一、项目信息</strong></h4>
<p>采购人：鄂温克族自治旗市政园林环卫事业服务中心 </p>
<p>项目名称：鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用 </p>
<p>拟采购的货物或服务的说明：</p>
<p>鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用  1项  总价 10,800,000.00元</p>
<p>拟采购的货物或服务的预算金额：10,800,000.00元</p>
<p>采用单一来源采购方式的原因及说明:只能从唯一供应商处采购</p>
<h4><strong>二、拟定供应商信息：</strong></h4>
<p>名称1： 呼伦贝尔环球瞭望生物科技有限公司 </p>
<p>地址1： 呼伦贝尔经济技术开发区起步区经一路、纬四路 </p>
<h4><strong>三、公示期限</strong></h4>
<p>2021年12月28日至2022年01月05日 </p>
<h4><strong>四、其他补充事宜</strong></h4>
<p>无。</p>
<h4><strong>五、联系方式</strong></h4>
<p>1．采购人</p>
<p>  联系人： 多剑峰 </p>
<p>  联系地址： 鄂温克旗巴彦托海镇三居 </p>
<p>  联系电话： 13904709391 </p>
<p>2．财政部门</p>
<p>  联系人： 吴昊 </p>
<p>  联系地址： 鄂温克旗巴彦托海镇中央街 </p>
<p>  联系电话： 0470-8819811 </p>
<h4><strong>六、附件</strong></h4>
<p><a href="http://39.104.85.103/uploader/upload/commoninfo/2021/12/28/1640660522602.jpg" class="annAttachment">专家论证报告.jpg</a></p>
<p><a href="http://39.104.85.103/uploader/upload/commoninfo/2021/12/28/1640660560860.jpg" class="annAttachment">专家名单表.jpg</a></p>
<br /><br />
<p style="text-align:right;">鄂温克族自治旗市政园林环卫事业服务中心</p>
<p style="text-align:right;">2021年12月28日</p>
</div>
</div>
</div>
```
# 采集结果字段
| 字段 | 样例 | 映射网站字段 |
| ---- | ---- | ---- |
| title | 鄂温克族自治旗市政园林环卫事业服务中心鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用采购实行单一来源采购方式的公示 | 取自列表json的TITLE或notice_name字段 |
| publish_time | 2021-12-28 | 取自列表json的SUBDATE或notice_time字段中的格式化时间值 |
| province | 内蒙古 | 固定值 |
| city | 鄂温克族自治旗 | 取自列表json中的SHORTNAME字段或为空 |
| business_type | 服务类 | 取自列表json的PURITEMNAME或PURNAME字段 |
| notice_type | 单一来源 | 取自列表json的PURMETNAME或notice_type字段 |
| link | http://www.ccgp-neimenggu.gov.cn/category/dylyg?tb_id=0&p_id=1039652636&type=2 | 取自列表json的字段（ay_table_tag、wp_mark_id、type）填充对应详情url的结果 |
| content | ... | 详情页面的部分网页标签内容 |
# 存量采集
采集策略：根据日期和数据项类型可采集网站全量
# 增量采集
采集策略：根据日期和数据项类型可支持增量采集
# 任务队列
## task_params
```json
{
"web_name": "ccgp-neimenggu", # 固定值
"task_type": "search", # 固定值
"start_date": '2022-01-12', # 需要采集的数据发布开始日期
"end_date": '2022-01-12', # 需要采集的数据发布结束日期
"current_page": "1", # 起始页码（固定值为第1页）
"fun": "cggg", # 数据类型（非必须，可选类型为cggg|dyly|空）
"type_name": "6", # 数据项编号（见编号对应表，当fun为dyly时可为空）
"notice_type": "资格预审公告", # 数据项名称（见编号对应表）
"detail_url": "http://www.ccgp-neimenggu.gov.cn/category/cgggg?tb_id={}&p_id={}&type={}" # 数据项详情url格式化字符串
}
```
## 编号对应表
```json
{
"1": "招标公告",
"2": "招标更正公告",
"3": "中标(成交)公告",
"4": "中标(成交)更正公告",
"5": "废标公告",
"6": "资格预审公告",
"7": "资格预审更正公告",
"8": "合同公告",
"10": "履约验收公示",
"001072": "网上竞价公示",
"001073": "网上竞价成交公示",
"001076": "直购采购成交公示",
"001078": "网上询价公示",
"001079": "网上询价成交公示",
"00107D": "定点服务采购竞价公示",
"00107E": "定点服务采购成交公示",
"00107H": "合同公示"
}
```
# 爬虫返回结果
```json
{
"data":{
"business_type":"服务类",
"city":"鄂温克族自治旗",
"content":"<div id=\"center\">\n <div class=\"title-box\">\n <p>鄂温克族自治旗市政园林环卫事业服务中心鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用采购实行单一来源采购方式的公示</p>\n </div>\n <div class=\"info-box\">\n <span class=\"feed-time\">发布时间：2021年12月28日</span>\n </div>\n <div class=\"content-box-1\" id=\"content-box-1\">\n \ufeff\n\n\n<div class=\"noticeArea\">\n <h4><strong>一、项目信息</strong></h4>\n <p>采购人：鄂温克族自治旗市政园林环卫事业服务中心 </p>\n <p>项目名称：鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用 </p>\n <p>拟采购的货物或服务的说明：</p>\n <p>鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用\xa0 1项 \xa0总价 10,800,000.00元</p>\n <p>拟采购的货物或服务的预算金额：10,800,000.00元</p>\n <p>采用单一来源采购方式的原因及说明:只能从唯一供应商处采购</p>\n <h4><strong>二、拟定供应商信息：</strong></h4>\n <p>名称1： 呼伦贝尔环球瞭望生物科技有限公司 </p>\n <p>地址1： 呼伦贝尔经济技术开发区起步区经一路、纬四路 </p>\n \n <h4><strong>三、公示期限</strong></h4>\n <p>2021年12月28日至2022年01月05日 </p>\n <h4><strong>四、其他补充事宜</strong></h4>\n <p>无。</p>\n <h4><strong>五、联系方式</strong></h4>\n <p>1．采购人</p>\n <p>\xa0\xa0联系人： 多剑峰 </p>\n <p>\xa0\xa0联系地址： 鄂温克旗巴彦托海镇三居 </p>\n <p>\xa0\xa0联系电话： 13904709391 </p>\n <p>2．财政部门</p>\n <p>\xa0\xa0联系人： 吴昊 </p>\n <p>\xa0\xa0联系地址： 鄂温克旗巴彦托海镇中央街 </p>\n <p>\xa0\xa0联系电话： 0470-8819811 </p>\n <h4><strong>六、附件</strong></h4>\n <p><a href=\"http://39.104.85.103/uploader/upload/commoninfo/2021/12/28/1640660522602.jpg\" class=\"annAttachment\">专家论证报告.jpg</a></p>\n <p><a href=\"http://39.104.85.103/uploader/upload/commoninfo/2021/12/28/1640660560860.jpg\" class=\"annAttachment\">专家名单表.jpg</a></p>\n <br/><br/>\n <p style=\"text-align:right;\">鄂温克族自治旗市政园林环卫事业服务中心</p>\n <p style=\"text-align:right;\">2021年12月28日</p>\n</div>\n\n\n\n\n </div>\n </div>\n ",
"link":"http://www.ccgp-neimenggu.gov.cn/category/dylyg?tb_id=0&p_id=1039652636&type=2",
"notice_type":"单一来源",
"province":"内蒙古",
"publish_time":"2021-12-28",
"title":"鄂温克族自治旗市政园林环卫事业服务中心鄂温克族自治旗餐厨废弃物无害化收运处理及资源化利用采购实行单一来源采购方式的公示"
},
"data_type":"detail",
"error_msg":"",
"http_code":200,
"metadata":{
},
"spider_end_time":"2022-02-09 11:19:27",
"spider_ip":"10.8.1.30",
"spider_name":"regional_tester_bid_spider",
"spider_start_time":"2022-02-09 11:19:25.968",
"task_params":{
"current_page":"1",
"detail_url":"http://www.ccgp-neimenggu.gov.cn/category/dylyg?tb_id={}&p_id={}&type={}",
"end_date":"2021-12-28",
"fun":"dyly",
"last_data_flag":"",
"notice_type":"单一来源公示",
"start_date":"2021-12-28",
"task_type":"search",
"web_name":"ccgp-neimenggu"
},
"task_result":1000
}
```