当前位置: 首页 > news >正文

宝鸡外贸网站建设怎么理解搜索引擎优化

宝鸡外贸网站建设,怎么理解搜索引擎优化,个人网站制作成品,做网站怎么赚钱Flink任务缺失Jobmanager日志的问题排查 问题不是大问题,不是什么代码级别的高深问题,也没有影响任务运行,纯粹因为人员粗心导致,记录一下排查的过程。 问题描述 一个生产环境的奇怪问题,环境是flink1.15.0 on yarn…

Flink任务缺失Jobmanager日志的问题排查

问题不是大问题,不是什么代码级别的高深问题,也没有影响任务运行,纯粹因为人员粗心导致,记录一下排查的过程。

问题描述

一个生产环境的奇怪问题,环境是flink1.15.0 on yarn3.2.2的,研发人员反馈业务正常运行,但是最近变更算法替换新包的时候有业务异常,然后需要排查日志的时候发现没有日志,打开Jobmanager日志就会一直转圈:

image-20231115114655046

排查过程

页面因为一直转圈,就看了下控制台请求,报错是404,找不到对应的日志文件

image-20231115114855562

image-20231115114911461

检查了一下ApplicationMaster的启动日志,看到在容器启动的时候是有传入相关的log.file参数的,所以基本排除提交命令这块的问题:

echo "Launching container"
exec /bin/bash -c "$JAVA_HOME/bin/java -Xmx3462817376 -Xms3462817376 -XX:MaxMetaspaceSize=268435456 -Dlog.file="/data3/yarn/logs/userlogs/application_1667318330721_0144/container_e37_1667318330721_0144_03_000001/jobmanager.log" -Dlog4j.configuration=file:log4j.properties -Dlog4j.configurationFile=file:log4j.properties org.apache.flink.yarn.entrypoint.YarnApplicationClusterEntryPoint -D jobmanager.memory.off-heap.size=134217728b -D jobmanager.memory.jvm-overhead.min=429496736b -D jobmanager.memory.jvm-metaspace.size=268435456b -D jobmanager.memory.heap.size=3462817376b -D jobmanager.memory.jvm-overhead.max=429496736b 1> /data3/yarn/logs/userlogs/application_1667318330721_0144/container_e37_1667318330721_0144_03_000001/jobmanager.out 2> /data3/yarn/logs/userlogs/application_1667318330721_0144/container_e37_1667318330721_0144_03_000001/jobmanager.err"

image-20231115114230472

因为这个环境早前有把flink从1.13.2升级到1.15.0的情况,又验证了一下版本是不是有问题,使用1.13.2提交一个example任务:

/usr/local/flink/bin/flink run-application -t yarn-application     -Dtaskmanager.numberOfTaskSlots=1    -Djobmanager.memory.process.size=4096m     -Dtaskmanager.memory.process.size=6144m     -Dyarn.provided.lib.dirs="viewfs://nsX/ns7/user/flink_lib" -Dyarn.application.name="Flink-Test"    -Dyarn.flink-dist-jar="viewfs://nsX/ns7/user/flink_lib/flink-dist-1.13.2.jar"  SocketWindowWordCount.jar  --hostname localhost --port 22

你还别说真就打出日志了:

b2d69cf3-09a8-4ebe-80fb-b7f675c17e00

对比了一下AM的的web日志页,发现1.15启动的缺少jobmanager.log文件

image-20231115114243742

image-20231115114359060

依次检查了log4j的相关配置,新旧版本也没有区别,又看了一眼提交命令,提交命令里有一个指定依赖目录的参数yarn.provided.lib.dirs,瞅一眼看看是不是有问题

企业微信截图_17000195313617

好嘛,看着1.13.2的依赖目录和1.15.0比差了几个log4j的包,把相应的包补齐到1.15.0的目录里,再提交任务,一切正常:

image-20231115140549733

http://www.khdw.cn/news/68022.html

相关文章:

  • 电商网站如何做引流免费手游推广代理平台渠道
  • 榆林公司网站建设产品市场推广方案范文
  • 视频网站是用什么框架做的常用的seo查询工具
  • iis添加网站 别名网络营销推广的5种方法
  • 网站被降权重新做网站昆明网站seo优化
  • 人与狗做的网站谁有网站建设黄页在线免费
  • 营销最好的方法郑州seo优化外包顾问阿亮
  • 让别人做网站需要提供什么seo网络优化培训
  • 南京网站推广费用郑州厉害的seo顾问公司
  • 网站建设和seo网盘资源搜索神器
  • 刚做淘客没有网站免费制作网站app
  • 性男女做视频观看网站十大网络推广公司排名
  • 武汉建筑设计院前10排名百度seo优化是什么
  • 南京网站推广费用seo关键词推广
  • 贸易公司怎么做网站比较好黑科技引流软件是真的吗
  • 打扑克网站推广软件品牌关键词优化
  • 怎么把网站上线优化网站技术
  • 服务器可以做几个网站吗网站排名怎么优化
  • 如何建立一个个人网站网络营销公司业务范围
  • html网页设计案例和代码企业网站seo贵不贵
  • 网站开发 占位符百度指数怎么查询
  • 网页设计叫什么岗位谷歌seo是什么
  • android移动开发免费网站分析seo报告是坑吗
  • 做网站除了买域名还有什么百度指数代表什么意思
  • 网站开发免责合同优化推广网站怎么做最好
  • 招聘网站排行榜六年级上册数学优化设计答案
  • 做营销网站建设挣钱吗全网推广怎么做
  • 谷歌网站怎么设置才能打开网站关键词排名优化提升培训
  • 瑞安电影城网站建设哪里有seo排名优化
  • 网页模板网站推荐代理怎么引流推广