Skip to content

GitLab

ec_app · Changes

Page history
Update ec_app authored by 李子健's avatar 李子健
Hide whitespace changes
Inline Side-by-side
Showing with 49 additions and 39 deletions
lake/ec_app.md
View page @ 73d6837a
...@@ -14,6 +14,9 @@ ...@@ -14,6 +14,9 @@
### 建表语句 ### 建表语句
```sql ```sql
CREATE TABLE `tb_app_data` ( CREATE TABLE `tb_app_data` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增id', `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增id',
...@@ -23,11 +26,13 @@ CREATE TABLE `tb_app_data` ( ...@@ -23,11 +26,13 @@ CREATE TABLE `tb_app_data` (
`category_name` varchar(64) DEFAULT NULL COMMENT '分类名称', `category_name` varchar(64) DEFAULT NULL COMMENT '分类名称',
`app_size` varchar(64) DEFAULT NULL COMMENT '软件大小', `app_size` varchar(64) DEFAULT NULL COMMENT '软件大小',
`version_no` varchar(64) DEFAULT NULL COMMENT '版本号', `version_no` varchar(64) DEFAULT NULL COMMENT '版本号',
`app_update_time` varchar(64) DEFAULT NULL COMMENT '最新版本更新时间', `app_update_time` date DEFAULT NULL COMMENT '最新版本更新时间',
`app_score` varchar(32) DEFAULT NULL COMMENT '评分', `app_score` varchar(32) DEFAULT NULL COMMENT '评分',
`comment_num` varchar(32) DEFAULT NULL COMMENT '评论数', `comment_num` varchar(32) DEFAULT NULL COMMENT '评论数',
`download_num` varchar(32) DEFAULT NULL COMMENT '下载次数', `download_num` varchar(32) DEFAULT NULL COMMENT '下载次数',
`product_unit` varchar(128) DEFAULT NULL COMMENT '出品单位（app发布者）', `product_unit` varchar(128) DEFAULT NULL COMMENT '出品单位（app发布者）',
`company_name_digest` char(32) DEFAULT NULL COMMENT '主体唯一键',
`data_source` varchar(100) DEFAULT NULL COMMENT '数据来源',
`province` varchar(16) DEFAULT NULL COMMENT '省份', `province` varchar(16) DEFAULT NULL COMMENT '省份',
`city` varchar(64) DEFAULT NULL COMMENT '城市', `city` varchar(64) DEFAULT NULL COMMENT '城市',
`county` varchar(64) DEFAULT NULL COMMENT '地区', `county` varchar(64) DEFAULT NULL COMMENT '地区',
...@@ -38,22 +43,25 @@ CREATE TABLE `tb_app_data` ( ...@@ -38,22 +43,25 @@ CREATE TABLE `tb_app_data` (
`app_download_url` varchar(256) DEFAULT NULL COMMENT 'APP下载链接', `app_download_url` varchar(256) DEFAULT NULL COMMENT 'APP下载链接',
`home_page` varchar(255) DEFAULT NULL COMMENT 'APP官方主页', `home_page` varchar(255) DEFAULT NULL COMMENT 'APP官方主页',
`app_state` smallint(2) DEFAULT '0' COMMENT 'APP状态：0 初始（未爬取详情） 、1 正常、9 已下线（详情不能访问）', `app_state` smallint(2) DEFAULT '0' COMMENT 'APP状态：0 初始（未爬取详情） 、1 正常、9 已下线（详情不能访问）',
`create_time` datetime NOT NULL COMMENT '收录时间', `labels` varchar(128) DEFAULT NULL COMMENT 'APP标签（多个标签用“,”隔开）',
`lastupdatetime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间', `create_time` timestamp NOT NULL COMMENT '收录时间',
`update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
`use_flag` smallint(6) DEFAULT '0' COMMENT '使用标记', `use_flag` smallint(6) DEFAULT '0' COMMENT '使用标记',
`is_history` smallint(6) DEFAULT '0' COMMENT '是否是历史数据', `is_history` smallint(6) DEFAULT '0' COMMENT '是否是历史数据',
`id_hide` smallint(6) DEFAULT '0' COMMENT '是否不展示',
PRIMARY KEY (`id`), PRIMARY KEY (`id`),
UNIQUE KEY `IX_RECORD_ID` (`id`) USING BTREE, KEY `idx_digest` (`company_name_digest`) ,
KEY `IX_PACKAGE_NAME` (`package_name`) USING BTREE, KEY `idx_create_time` (`create_time`),
KEY `IX_APP_STATE` (`app_state`) USING BTREE, KEY `idx_update_time` (`update_time`),
KEY `IX_APP_ID` (`app_id`) USING BTREE KEY `idx_app_name` (`app_name`),
KEY `idx_package_name` (`package_name`),
KEY `idx_app_state` (`app_state`),
KEY `idx_app_id` (`app_id`)
) ENGINE=InnoDB AUTO_INCREMENT=5220537 DEFAULT CHARSET=utf8 COMMENT='移动APP数据'; ) ENGINE=InnoDB AUTO_INCREMENT=5220537 DEFAULT CHARSET=utf8 COMMENT='移动APP数据';
``` ```
### 数据结构 ### 数据结构
``` ```json
{ {
"id": "自增主键", "id": "自增主键",
"app_id": "平台APP ID", "app_id": "平台APP ID",
...@@ -81,44 +89,46 @@ CREATE TABLE `tb_app_data` ( ...@@ -81,44 +89,46 @@ CREATE TABLE `tb_app_data` (
"lastupdatetime": "最后更新时间", "lastupdatetime": "最后更新时间",
"use_flag": "使用标记", "use_flag": "使用标记",
"is_history": "是否是历史数据", "is_history": "是否是历史数据",
"id_hide": 是否不展示 "id_hide": "是否不展示"
} }
``` ```
### 数据字典 ### 数据字典
| 字段名 | 字段类型 | 注释 | | 字段名 | 字段类型 | 注释 |
| ---------------- | --------- | ---------------------------------------------------- | | ------------------- | --------- | ---------------------------------------------------- |
| app_id | varchar | 平台APP ID | | app_id | int | 平台APP ID |
| app_name | varchar | APP名称 | | app_name | varchar | APP名称 |
| package_name | varchar | 包名 | | package_name | varchar | 包名 |
| category_name | varchar | 分类名称 | | category_name | varchar | 分类名称 |
| app_size | varchar | 软件大小 | | app_size | varchar | 软件大小 |
| version_no | varchar | 版本号 | | version_no | varchar | 版本号 |
| app_update_time | varchar | 最新版本更新时间 | | app_update_time | date | 最新版本更新时间 |
| app_score | varchar | 评分 | | app_score | varchar | 评分 |
| comment_num | varchar | 评论数 | | comment_num | varchar | 评论数 |
| download_num | varchar | 下载次数 | | download_num | varchar | 下载次数 |
| product_unit | varchar | 出品单位（app发布者） | | product_unit | varchar | 出品单位（app发布者） |
| province | varchar | 省份 | | company_name_digest | char | 主体唯一键 |
| city | varchar | 城市 | | data_source | varchar | 数据来源 |
| county | varchar | 地区 | | province | varchar | 省份 |
| app_desc | longtext | 应用介绍 | | city | varchar | 城市 |
| new_features | text | 新版特性 | | county | varchar | 地区 |
| permissions | text | 权限详情 | | app_desc | longtext | 应用介绍 |
| icon_url | varchar | 图标链接 | | new_features | text | 新版特性 |
| app_download_url | varchar | APP下载链接 | | permissions | text | 权限详情 |
| home_page | varchar | APP官方主页 | | icon_url | varchar | 图标链接 |
| app_state | smallint | APP状态，0： 初始（未采集详情） 1：正常 9：APP已下线 | | app_download_url | varchar | APP下载链接 |
| create_time | datetime | 收录时间 | | home_page | varchar | APP官方主页 |
| lastupdatetime | timestamp | 最后更新时间 | | app_state | smallint | APP状态，0： 初始（未采集详情） 1：正常 9：APP已下线 |
| use_flag | smallint | 使用标记 | | labels | varchar | APP标签（多个标签用“,”隔开） |
| is_history | smallint | 是否是历史数据 | | create_time | timestamp | 收录时间 |
| id_hide | smallint | 是否不展示 | | update_time | datetime | 最后更新时间 |
| use_flag | smallint | 使用标记 |
| is_history | smallint | 是否是历史数据 |
### 样例 ### 样例
``` ```json
{ {
"id": 101275, "id": 101275,
"app_id": 524613, "app_id": 524613,
......