1) Spool

Spool监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意两点：

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

² 拷贝到spool目录下的文件不可以再打开编辑。

² spool目录下不可包含相应的子目录

  • 创建agent配置文件
  • 缺点：指定文件下不能有重名(如：kk.log  和 kk.log. COMPLETED),会报错 是的flume死掉

# > vi /home/bigdata/flume/conf/spool.conf

添加以下内容：

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# Describe configure the source

a1.sources.r1.type = spooldir

a1.sources.r1.spoolDir = /home/data/logs

a1.sources.r1.fileHeader = true

 

# Describe the sink

a1.sinks.k1.type = logger

 

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

  • 启动flume agent a1
  • 创建/home/data/logs文件夹
  • # > mkdir / home/data /logs
  • # > flume-ng agent -c . -f /home/bigdata/flume/conf/spool.conf -n a1 -Dflume.root.logger=INFO,consoleFlume案例（3） 随笔 第1张

 

  • 追加文件到/hadoop/flume/logs目录

# > echo "spool test1" > /home/data/logs/spool_text.log

  • 在a1的控制台，可以看到以下相关信息：
  • Flume案例（3） 随笔 第2张

     

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄