java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
使用flume的时候出现的问题。
sink是hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置hdfs.useLocalTimeStamp这个参数,比如以每个小时作为一个文件夹,那么配置应该是这样:
a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/flume/events/%y-%m-%d/%H a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 1 a1.sinks.k1.hdfs.roundUnit = hour a1.sinks.k1.hdfs.useLocalTimeStamp = true
或者修改hdfs.timeZone这个参数使之可以和我们上传的log文件的日期格式一样应该就可以了,没有测试过。
查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/Programming/Java/
以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索hdfs
, 参数
, timestamp
, nullpointerexception
, expected a
, flume到hdfs写入问题
, expected
, 性能测试hdfs
, flume hdfs
, hdfs上传文件
, sink
, java连接hdfs
lang
timestamp、mysql timestamp、timestamp 转换 date、unix timestamp、mysql unix timestamp,以便于您获取更多的相关知识。