|
|
# 文件输入 file
|
|
|
> 从文件中读取
|
|
|
|
|
|
**class**参数配置为```file.FileDocReader```
|
|
|
|
|
|
示例:
|
|
|
```yaml
|
|
|
company_name: # 名称(自定义)
|
|
|
class: file.FileDocReader
|
|
|
init:
|
|
|
path: "hdfs://hdp-nn-001:8020/user/data/digest_company_name/"
|
|
|
formater: company_name_digest
|
|
|
pattern: "*.gz"
|
|
|
```
|
|
|
* **path**:文件路径,支持hdfs、ftp和本地文件
|
|
|
* **formater**: 格式化处理器
|
|
|
* **pattern**: 文件名匹配模式。比如```*.py```匹配.py结尾的文件,```*.gz```匹配.gz格式压缩文件 |