yarn spark快速查看stderr日志

每次yarn跑spark程序如果有异常，而又想看更多的日志的时候，就会很烦，日志如果太多的话，会刷新很久很久才会到最新的，这时候如果不想登机器看日志，只想web查看的话，可以通过如下方法快速定位到最近的日志：就是查看日志的url后面有一个start=的参数，默认是start=0，试了几次才发现，这个值不是行数也不是时间，而是大小，看Log Length是多大，然后适当的进行计算，就可以得到想...

CDH集群Kerberos报错：Host XXX has upper-case characters in its name ...

问题集群是以前搭建的，发现报了个这样的错误，Kerberos异常，搜了一下资料，发现是host映射的问题，/etc/hosts里面写的主机名是大写，然后cdh里面组集群用的大写主机名，kerberos使用的主机名又是小写，所以导致这个问题。处理方法在集群所有节点下的/etc/hosts里面有大写主机名的（报错的基本都是大写），在前面全部添加一个小写的，大写不动（原大写的删除了会影响集群通信）...