agentX.sources = flume-avro-sink
agentX.channels = chX
agentX.sinks = flume-hdfs-sink
agentX.sources.flume-avro-sink.channels = chX
agentX.sources.flume-avro-sink.type = avro
agentX.sources.flume-avro-sink.bind = 127.0.0.1
agentX.sources.flume-avro-sink.port = 41414
agentX.sources.flume-avro-sink.threads = 8
# 定义拦截器，为消息添加时间戳和Host地址
agentX.sources.flume-avro-sink.interceptors = i1 i2
agentX.sources.flume-avro-sink.interceptors.i1.type = timestamp
agentX.sources.flume-avro-sink.interceptors.i2.type = host
# 如果不指定hostHeader，就是用%{host}。但是指定了hostHeader=hostname，就需要使用%{hostname}
agentX.sources.flume-avro-sink.interceptors.i2.hostHeader = hostname
agentX.sources.flume-avro-sink.interceptors.i2.preserveExisting = true
agentX.sources.flume-avro-sink.interceptors.i2.useIP = true
agentX.channels.chX.type = memory
agentX.channels.chX.capacity = 1000
agentX.channels.chX.transactionCapacity = 100
agentX.sinks.flume-hdfs-sink.type = hdfs
agentX.sinks.flume-hdfs-sink.channel = chX
# agentX.sinks.flume-hdfs-sink.hdfs.path = hdfs://10.10.1.64:8020/flume/events/
# 使用时间作为分割目录
agentX.sinks.flume-hdfs-sink.hdfs.path = hdfs://10.10.1.64:8020/flume/events/%Y%m%d/
# HdfsEventSink中，hdfs.fileType默认为SequenceFile，将其改为DataStream就可以按照采集的文件原样输入到hdfs，加一行agentX.sinks.flume-hdfs-sink.hdfs.fileType = DataStream
# 设置文件格式， 有3种格式可选择：SequenceFile, DataStream or CompressedStream
# 当使用DataStream时候，文件不会被压缩，不需要设置hdfs.codeC
# 当使用CompressedStream时候，必须设置一个正确的hdfs.codeC值
agentX.sinks.flume-hdfs-sink.hdfs.fileType = DataStream
# 写入hdfs的文件名前缀，可以使用flume提供的日期及%{host}表达式。默认值：FlumeData
agentX.sinks.flume-hdfs-sink.hdfs.filePrefix = events-%{hostname}-
# 写入hdfs的文件名后缀，比如：.lzo .log等。
# agentX.sinks.flume-hdfs-sink.hdfs.fileSuffix = .log
# 临时文件的文件名前缀，hdfs sink会先往目标目录中写临时文件，再根据相关规则重命名成最终目标文件
# agentX.sinks.flume-hdfs-sink.hdfs.inUsePrefix
# 临时文件的文件名后缀。默认值：.tmp
# agentX.sinks.flume-hdfs-sink.hdfs.inUseSuffix
# 当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件。默认值是0
# agentX.sinks.flume-hdfs-sink.hdfs.idleTimeout = 0
# 文件压缩格式，包括：gzip, bzip2, lzo, lzop, snappy
# agentX.sinks.flume-hdfs-sink.hdfs.codeC = gzip
# 每个批次刷新到HDFS上的events数量。默认值：100
# agentX.sinks.flume-hdfs-sink.hdfs.batchSize = 100
# 不想每次Flume将日志写入到HDFS文件中都分成很多个碎小的文件，这里控制HDFS的滚动
# 注：滚动（roll）指的是，hdfs sink将临时文件重命名成最终目标文件，并新打开一个临时文件来写入数据；
# 设置间隔多长将临时文件滚动成最终目标文件。单位是秒，默认30秒。
# 如果设置为0的话表示不根据时间滚动hdfs文件
agentX.sinks.flume-hdfs-sink.hdfs.rollInterval = 0
# 当临时文件达到该大小（单位：bytes）时，滚动成目标文件。默认值1024，单位是字节。
# 如果设置为0的话表示不基于文件大小滚动hdfs文件
agentX.sinks.flume-hdfs-sink.hdfs.rollSize = 0
# 设置当events数据达到该数量时候，将临时文件滚动成目标文件。默认值是10个。
# 如果设置为0的话表示不基于事件个数滚动hdfs文件
agentX.sinks.flume-hdfs-sink.hdfs.rollCount = 300
# 是否启用时间上的”舍弃”，这里的”舍弃”，类似于”四舍五入”，后面再介绍。如果启用，则会影响除了%t的其他所有时间表达式
# agentX.sinks.flume-hdfs-sink.hdfs.round = true
# 时间上进行“舍弃”的值。默认值：1
# 举例：当时间为2015-10-16 17:38:59时候，hdfs.path依然会被解析为：/flume/events/20151016/17:30/00
# 因为设置的是舍弃10分钟内的时间，因此，该目录每10分钟新生成一个。
# agentX.sinks.flume-hdfs-sink.hdfs.roundValue = 10
# 时间上进行”舍弃”的单位，包含：second,minute,hour。默认值：seconds
# agentX.sinks.flume-hdfs-sink.hdfs.roundUnit = minute
# 写入HDFS文件块的最小副本数。默认值：HDFS副本数
# agentX.sinks.flume-hdfs-sink.hdfs.minBlockReplicas
# 最大允许打开的HDFS文件数，当打开的文件数达到该值，最早打开的文件将会被关闭。默认值：5000
# agentX.sinks.flume-hdfs-sink.hdfs.maxOpenFiles
# 执行HDFS操作的超时时间（单位：毫秒）。默认值：10000
# agentX.sinks.flume-hdfs-sink.hdfs.callTimeout
# hdfs sink启动的操作HDFS的线程数。默认值：10
# agentX.sinks.flume-hdfs-sink.hdfs.threadsPoolSize
# 时区。默认值：Local Time
# agentX.sinks.flume-hdfs-sink.hdfs.timeZone
# 是否使用当地时间。默认值：flase
# agentX.sinks.flume-hdfs-sink.hdfs.useLocalTimeStamp
# hdfs sink关闭文件的尝试次数。默认值：0
# 如果设置为1，当一次关闭文件失败后，hdfs sink将不会再次尝试关闭文件，这个未关闭的文件将会一直留在那，并且是打开状态。
# 设置为0，当一次关闭失败后，hdfs sink会继续尝试下一次关闭，直到成功。
# agentX.sinks.flume-hdfs-sink.hdfs.closeTries
# hdfs sink尝试关闭文件的时间间隔，如果设置为0，表示不尝试，相当于于将hdfs.closeTries设置成1。默认值：180（秒）
# agentX.sinks.flume-hdfs-sink.hdfs.retryInterval
# 序列化类型。其他还有：avro_event或者是实现了EventSerializer.Builder的类名。默认值：TEXT
# agentX.sinks.flume-hdfs-sink.hdfs.serializer