... | @@ -23,7 +23,9 @@ |
... | @@ -23,7 +23,9 @@ |
|
|data_split| False |是否根据data中的某一列值为文件夹名来存储数据,如果需要,设为True
|
|
|data_split| False |是否根据data中的某一列值为文件夹名来存储数据,如果需要,设为True
|
|
|data_key| None | 按照此列值为文件夹名来存储数据,与data_split参数一起使用,与data_split=True时,这是必填参数
|
|
|data_key| None | 按照此列值为文件夹名来存储数据,与data_split参数一起使用,与data_split=True时,这是必填参数
|
|
|date_split| False |是否根据日期来存储数据,如果需要,设为True(当data_split,date_split同时启用时,切分效果同时生效,但是data_split优先切分,即先按字段切分再按日期切分)
|
|
|date_split| False |是否根据日期来存储数据,如果需要,设为True(当data_split,date_split同时启用时,切分效果同时生效,但是data_split优先切分,即先按字段切分再按日期切分)
|
|
|data_key| None | 按照此数据中列值为日期单位存储数据,不填写的话,按照系统的时间来存储数据
|
|
|data_key| None | 按照此数据中列值为日期单位存储数据,不填写的话,按照系统的时间来存储数据。可参考filter中的实现
|
|
|
|
|match_key | None | 匹配match_key定义的数据键值,其他的舍弃,优先级高于match_key。可参考filter中的实现
|
|
|
|
|match_expr | None | Python正则语法过滤数据,匹配的才会写到文件,优先级低于match_key,有match_key时不生效
|
|
|custom_time_pattern | None | 按照给的正则表达式提供的格式确定数据最小时间切分单位,比如按照小时存存储,custom_time_pattern='%Y%m%d/%H'
|
|
|custom_time_pattern | None | 按照给的正则表达式提供的格式确定数据最小时间切分单位,比如按照小时存存储,custom_time_pattern='%Y%m%d/%H'
|
|
|close_file_interval|None | 默认值为None,有些文件长时间不关闭; 设置数字时为子线程定时关闭文件的时间间隔秒数。比如300,就是5分钟关闭一次文件|
|
|
|close_file_interval|None | 默认值为None,有些文件长时间不关闭; 设置数字时为子线程定时关闭文件的时间间隔秒数。比如300,就是5分钟关闭一次文件|
|
|
|
|
|
... | | ... | |