严谨转载--否则追究法律责任 作者----王加鸿

              

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

                                                  ----------bug 1----------

Flume的一些报错问题解决(持续更新中) Hadoop 第1张

解决方案

Flume的一些报错问题解决(持续更新中) Hadoop 第2张

将这两个路径下的文件清空即可  ↑

  1.                                  ----------bug 2----------

 Flume的一些报错问题解决(持续更新中) Hadoop 第3张

 

解决方案: 暂无(如无法连接,会自动创建连接,但可能长久后会造成连接过多)

            ----------bug 3----------

Flume的一些报错问题解决(持续更新中) Hadoop 第4张

 

 解决方案:初步分析,是埋点数据产生的json格式解析出问题了

后来查看源代码在org.apache.flume.source.http.HTTPSource类中看到有这样一段说明,告诉我们使用json必须根据他的封装格式进行封装,否则会报400,503错误

---总结原因:

Flume的一些报错问题解决(持续更新中) Hadoop 第5张

             ----------bug 4----------

Java堆内存溢出

Flume的一些报错问题解决(持续更新中) Hadoop 第6张

解决方案:修改Flume的一些报错问题解决(持续更新中) Hadoop 第7张下的

Flume的一些报错问题解决(持续更新中) Hadoop 第8张

可修改为数值 -Xms512m -Xmx1024 (网上建议,未尝试)

并且(关键)

修改---Flume的一些报错问题解决(持续更新中) Hadoop 第9张里的

Flume的一些报错问题解决(持续更新中) Hadoop 第10张

默认是-Xmx20m   改为了   -Xmx100m

 

大图因修改了但是无效,所以无法验证

 

 

-----持续更新中

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄