yarn spark快速查看stderr日志

Z先森 2022-06-23 PM 31℃ 0条

每次yarn跑spark程序如果有异常,而又想看更多的日志的时候,就会很烦,日志如果太多的话,会刷新很久很久才会到最新的,这时候如果不想登机器看日志,只想web查看的话,可以通过如下方法快速定位到最近的日志:
就是查看日志的url后面有一个start=的参数,默认是start=0,试了几次才发现,这个值不是行数也不是时间,而是大小,看Log Length是多大,然后适当的进行计算,就可以得到想要的位置,比如我想看最新的日志部分,那就是把start的值设置比Log Length小个几万就行了,加载贼快

标签: yarn, spark, 大数据

如无特殊说明,本博所有文章均为博主原创。

评论啦~