Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Requirement_doc
  • bid_ccgp_shandong

bid_ccgp_shandong · Changes

Page history
git:upd 山东招投标网站数据采集文档 authored Jan 13, 2022 by 胡学文's avatar 胡学文
Hide whitespace changes
Inline Side-by-side
Showing with 80 additions and 6 deletions
+80 -6
  • requirement_doc/bid_ccgp_shandong.md requirement_doc/bid_ccgp_shandong.md +80 -6
  • No files found.
requirement_doc/bid_ccgp_shandong.md
View page @ 9162d639
......@@ -192,19 +192,93 @@ http://www.ccgp-shandong.gov.cn/sdgp2017/site/listnew.jsp
| 字段 | 样例 | 映射网站字段 |
| ---- | ---- | ---- |
| title | 山东旅游职业学院2022年01月(至)03月政府采购意向 | 取自列表元素单行的标题 |
| publish_time | 2022-01-11 10:33:06 | 取自列表元素单行发布时间 |
| title | 山东旅游职业学院2022年01月(至)03月政府采购意向 | 取自列表页面单行数据的标题 |
| publish_time | 2022-01-11 10:33:06 | 取自列表页面单行数据的发布时间 |
| province | 山东 | 固定值 |
| notice_type | 省意向公开 | 取自页面左边导航栏单项数据标题 |
| link | http://www.ccgp-shandong.gov.cn/sdgp2017/site/listcontnew.jsp?colcode=2500&id=192812 | 取自列表元素单行数据链接地址 |
| content | ... | 详情接口的网页部分标签内容 |
| notice_type | 省意向公开 | 取自列表页面左边导航栏数据项标题 |
| link | http://www.ccgp-shandong.gov.cn/sdgp2017/site/listcontnew.jsp?colcode=2500&id=192812 | 取自列表页面单行数据的链接地址 |
| content | ... | 详情页面的部分网页标签内容 |
# 存量采集
网站全量
采集策略:根据日期和数据项类型可采集网站全量
# 增量采集
采集策略:根据日期和数据项类型可支持增量采集
# 任务队列
## task_params
```json
{
"web_name": "ccgp-shandong", # 固定值
"task_type": "search", # 固定值
"pdate": '2022-01-12', # 需要采集的数据发布日期
"curpage": "1", # 起始页码(固定值为第1页)
"colcode": "2500", # 数据项编号(见编号对应表)
"notice_type": "省意向公开" # 数据项名称(见编号对应表)
}
```
## 编号对应表
```json
{
"0301": "省采购公告",
"0302": "省结果公告",
"0303": "市县采购公告",
"0304": "市县结果公告",
"0305": "信息更正",
"0306": "废标公告",
"2102": "单一来源公示",
"2106": "市县单一来源公示",
"2500": "省意向公开",
"2501": "省需求公开",
"2502": "省合同公开",
"2503": "省验收公开",
"2504": "市县需求(意向)公开",
"2505": "市县合同公开",
"2506": "市县验收公开",
"2507": "资金支付",
"2508": "投标保证金",
"2509": "履约保证金",
"2510": "开标报价"
}
```
# 爬虫返回结果
```json
{
"data":
{
"title": "曹县政务服务大厅智能化服务采购项目单一来源采购公示",
"publish_time": "2021-11-23",
"province": "山东",
"notice_type": "市县单一来源公示",
"link": "http://www.ccgp-shandong.gov.cn/sdgp2017/site/listcontnew.jsp?colcode=2106&id=205658702",
"content": "<div class=\"listConts\">\n\t\t\t<!-- 标题区域开始 -->\n\t\t\t<h1 class=\"title\">曹县政务服务大厅智能化服务采购项目单一来源采购公示</h1>\n\t\t\t<div class=\"info_box\">\n\t\t\t\t<div class=\"info\">    <midea>发布时间:2021年11月23日12时16分</midea>    <midea>发布人:刘艳芳</midea>    </div>\n\t\t\t</div>\n\t\t\t<!-- 标题区域结束 -->\n\t\t\t<!-- 内容区域开始 -->\n\t\t\t<div class=\"conttitle\">详细信息</div>\n\t\t\t<div id=\"textarea\" class=\"content\">\n\t\t\t\t<table>\n\t\t\t\t\t<tr>\n\t\t\t\t\t\t<td>\n\n\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t</td></tr><tr style=\"height:40px\"><td colspan=\"2\" align=\"center\"><div align=\"center\"><input type=\"hidden\" name=\"UnitId\" size=\"30\" maxsize=\"50\" value=\"200104160\" class=\"textbox\" />曹县政务服务大厅智能化服务采购项目单一来源采购公示</div><div align=\"center\"><input type=\"hidden\" name=\"BuyKind\" size=\"30\" maxsize=\"50\" value=\"04\" class=\"textbox\" /><input type=\"hidden\" name=\"NoticeType\" size=\"30\" value=\"10\" class=\"textbox\" /><input type=\"hidden\" name=\"PublicityBegin\" size=\"30\" value=\"\" class=\"textbox\" /><input type=\"hidden\" name=\"PublicityEnd\" size=\"30\" value=\"\" class=\"textbox\" /></div></td></tr><tr style=\"height:40px\"><td><b>一、项目信息:</b></td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        采购人:<input type=\"hidden\" name=\"UnitCode\" size=\"30\" maxsize=\"100\" value=\"235\" class=\"textbox\" />曹县行政审批服务局</td></tr><tr style=\"height:40px\"><td>        项目编号:SDGP371721202102000215</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        项目名称:曹县政务服务大厅智能化服务采购项目</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">                拟采购的货物或服务的说明:曹县政务服务大厅智能化服务采购内容主要为网络系统自动化、公共广播系统、音视频会议系统、信息发布系统、高清视频安防监控系统、自助服务系统、云租赁、档案管理系统、大数据分析系统、大厅智能服务综合平台等方面的服务。</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">            拟采购的货物或服务的预算金额:1602.767497万元</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        采用单一来源采购方式的原因及说明:为满足曹县政务服务大厅智能化系统高效、规范与信息化管理的需要,为曹县政务服务大厅智能化的办公管理及其各种公务活动提供一个高效可靠的管理手段及全面的信息安全服务保障。优化办事流程,创新服务模式,让办事群众“进一扇门”“跑一次腿”就能办成“一件事情”,树立曹县政务服务大厅智能化服务系统在社会各界的良好形象,拟进行曹县政务服务大厅智能化服务采购。曹县政务服务大厅智能化服务系统涵盖三大智能化领域:安防自动化、办公自动化系统和通信自动化系统,以上系统硬件和软件建设开发均由菏泽商投数字科技有限公司承建,本项目采购的智能化服务都需要和以上系统进行无缝对接。为节约资源,避免重复投资,充分利用政务服务平台已有建设成果,我单位申请采用单一来源采购方式。</td></tr><tr style=\"height:40px\"><td style=\"height:40px\"><b>二、拟定供应商信息:</b></td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        1.名称:菏泽商投数字科技有限公司</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        2.地点:曹县青菏街道富民大道</td></tr><tr style=\"height:40px\"><td style=\"height:40px\"><b>三、公示期限:</b></td></tr><tr style=\"height:40px\"><td>        2021年11月24日 至 2021年11月30日(公示期限不得少于5个工作日)</td></tr><tr style=\"height:40px\"><td style=\"height:40px\"><b>四、其他补充事宜:</b></td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        其他补充事宜:一、获取单一来源采购文件时间、地点和方式1.时间:2021年11月24日09时00分至2021年11月30日17时00分(北京时间);2.地点:鲁采采电子招投标交易平台https://www.lucaicai.com;3.方式:自行下载,同时须在中国山东政府采购网上进行注册备案,备案方式:登录中国山东政府采购网注册账号,在获取采购文件日期截止时间前在中国山东政府采购网进行网上备案,并填写“采购邀请回执”发送至代理公司邮箱。二、递交报价文件时间及地点:本次采购为网上交易,报价文件目前采用电子评审的方式,供应商需在鲁采采电子招投标交易平台https://www.lucaicai.com递交加密版电子报价文件。</td></tr><tr style=\"height:40px\"><td style=\"height:40px\"><b>五、联系方式:</b></td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        1、采购人信息</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联 系 人:<input type=\"hidden\" name=\"UnitCode\" size=\"30\" maxsize=\"50\" value=\"235\" class=\"textbox\" />曹县行政审批服务局</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联系地址:曹县青岛路和富民大道交叉路口(曹县行政审批服务局)</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联系方式:16605309967</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        2、财政部门</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联 系 人:政府采购监督管理部门</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联系地址:曹县财政局</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联系电话:05307687055</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        3、采购代理机构</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        名    称:<input type=\"hidden\" name=\"AgentCode\" size=\"30\" maxsize=\"50\" value=\"无\" class=\"textbox\" />山东鲁投招标有限公司菏泽分公司</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联 系 人:刘艳芳</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联系地址:山东省菏泽市开发区县(区)长江路1101号606室</td></tr><tr style=\"height:40px\"><td style=\"height:40px\">        联系方式:15806996208<input type=\"hidden\" name=\"LinkMan\" size=\"10\" readonly=\"readonly\" value=\"刘艳芳\" /><input type=\"hidden\" name=\"LinkTel\" size=\"10\" readonly=\"readonly\" value=\"15806996208\" /></td></tr>\n\t\t\t\t\t\t\t\n\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\t</table>\n\t\t\t\t<div id=\"file_list\">附件:<br /><a href=\"http://www.ccgp-shandong.gov.cn/sdgp2017/upload/attach/20211123115113_2000094863.pdf\" target=\"_blank\">单一来源采购(附件)专业人员论证意见+曹县政务服务大厅智能化服务采购项目.pdf</a><br /></div>\n\t\t\t</div>\n\t\t\t<div class=\"conttitle\"></div>\n\t\t\t<div class=\"relative\">\n\t\t\t\t<!-- 内容区域结束 -->\n\t\t\t\t<ul><li><a href=\"http://www.ccgp-shandong.gov.cn/sdgp2017/site/listcontnew.jsp?colcode=2505&amp;id=206099026\">1、曹县政务服务大厅智能化服务采购项目合同公示</a></li>\n<li><a href=\"http://www.ccgp-shandong.gov.cn/sdgp2017/site/listcontnew.jsp?colcode=2106&amp;id=205658702\">2、曹县政务服务大厅智能化服务采购项目单一来源采购公示</a></li>\n<li><a href=\"http://www.ccgp-shandong.gov.cn/sdgp2017/site/listcontnew.jsp?colcode=0304&amp;id=205821649\">3、曹县政务服务大厅智能化服务采购项目中标(成交)公告</a></li>\n</ul>\n\t\t\t</div>\n\t\t</div>\n\t\t\t"
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2022-01-13 11:24:11.931",
"spider_end_time": "2022-01-13 11:24:12",
"task_params":
{
"web_name": "ccgp-shandong",
"task_type": "search",
"pdate": "2021-11-23",
"colcode": "2106",
"curpage": "1",
"notice_type": "市县单一来源公示",
"last_data_flag": ""
},
"metadata":
{
"data_flag": null
},
"spider_name": "bid_spider",
"spider_ip": "172.18.1.152"
}
```
Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages