博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Flume插件开发及部署
阅读量:7215 次
发布时间:2019-06-29

本文共 651 字,大约阅读时间需要 2 分钟。

hot3.png

本文基于flume1.7讲解 

一、自定义source开发 
方法一: 
这里写图片描述

你可以在start方法中启动额外的线程,不断的往channel中发数据。

方法二: 

这里写图片描述

此方法中多了一个process()方法,这个方法在PollableSourceRunner类中会被一个线程不断的调用。yinc可以在process()实现不断重发。

二、自定义sink开发 

这里写图片描述

process会不断调用,你只需在process中去取channel的数据即可。

三、插件部署 

1.把开发的类打成JAR包,比如SpoolDirectoryExtSource.jar

2.直接在flume下创建plugins.d目录

目录结构为:

plugins.d/plugins.d/SpoolDirectoryExtSource/plugins.d/SpoolDirectoryExtSource/lib/SpoolDirectoryExtSource.jarplugins.d/SpoolDirectoryExtSource/libext/plugins.d/SpoolDirectoryExtSource/native/
  •  

lib是放插件JAR的目录,libext是放插件的依赖JAR的目录,native放使用到的原生库

3.重新启动flume agent,flume就会自动装载我们的插件,这样在flume.conf中就可以使用全路径类名配置type属性了

转载于:https://my.oschina.net/yjktpd/blog/1799713

你可能感兴趣的文章
Silverlight LoaderException错误
查看>>
qt5.4.1的imx6编译
查看>>
我的window10
查看>>
【转载】jQuery的.live()和.die()
查看>>
函数式编程--函数式接口
查看>>
python--常用模块calendar
查看>>
register form
查看>>
Java中的clone
查看>>
Lucene基础(2)
查看>>
Oracle 存储过程
查看>>
java基础 静态 static 问在多态中,子类静态方法覆盖父类静态方法时,父类引用调用的是哪个方法?...
查看>>
FlasCC发布说明
查看>>
如何在macOS Sierra中运行CORE Keygen破解程序
查看>>
终极解决方案:windows10资源管理器假死
查看>>
【java】一维数组循环位移方阵
查看>>
Essential Studio for mobile MVC中创建Razor应用程序平台教程
查看>>
java主函数的含义
查看>>
中国大学MOOC —— 学习笔记(四)
查看>>
访问,ringbtn,
查看>>
致橡树
查看>>