多语言展示
当前在线:899今日阅读:75今日分享:44

怎样安装Flume拦截器

本项目中自定义了两个拦截器,分别是:ETL拦截器、日志类型区分拦截器。ETL拦截器主要用于,过滤时间戳不合法和Json数据不完整的日志日志类型区分拦截器主要用于,将启动日志和事件日志区分开来,方便发往Kafka的不同Topic。
方法/步骤
1

1、创建Maven工程flume-interceptor

2

2、创建包名:com.atguigu.flume.interceptor

3

3、在pom.xml文件中添加如下配置

4

4、在interceptor包下创建Log类名Flume ETL拦截器LogETLInterceptor

5

5、Flume日志过滤工具类

6

6、Flume日志类型区分拦截器LogTypeInterceptor

7

7、打包拦截器打包之后,只需要单独包,不需要将依赖的包上传。打包之后要放入flume的lib文件夹下面。

8

8、采用root用户将flume-interceptor包放入到hadoop102的/opt/cloudera文件夹下面。

9

9、分发Flume到hadoop103

10

10、启动Flume,并查看日志

推荐信息