本项目中自定义了两个拦截器,分别是:ETL拦截器、日志类型区分拦截器。ETL拦截器主要用于,过滤时间戳不合法和Json数据不完整的日志日志类型区分拦截器主要用于,将启动日志和事件日志区分开来,方便发往Kafka的不同Topic。
方法/步骤
1
1、创建Maven工程flume-interceptor
2
2、创建包名:com.atguigu.flume.interceptor
3
3、在pom.xml文件中添加如下配置
4
4、在interceptor包下创建Log类名Flume ETL拦截器LogETLInterceptor
5
5、Flume日志过滤工具类
6
6、Flume日志类型区分拦截器LogTypeInterceptor
7
7、打包拦截器打包之后,只需要单独包,不需要将依赖的包上传。打包之后要放入flume的lib文件夹下面。
8
8、采用root用户将flume-interceptor包放入到hadoop102的/opt/cloudera文件夹下面。
9
9、分发Flume到hadoop103
10
10、启动Flume,并查看日志
上一篇:DNF中怎样玩好机械师
下一篇:struts2拦截器流程详解