0%

配置Spark日志

最近在折腾Spark,发现当Spark运行在Yarn模式下的时候(Spark1.6.2, Hadoop2.7.1),application中的控制台System.out输出或者Logger日志输出并不会记录到Yarn的执行节点的日志当中,所以在Yarn的UI或者用yarn logs -applicationId <app ID>命令,都只能追踪到该application在Yarn上执行和停止的过程,并不会追踪到application本身的输出。

作为IBMer,经常需要在项目中安装WebSphere Application Server(下简称WAS),但是已有的中文文档很多都是基于Installation Manager(下简称IM)桌面版安装,在Linux环境下有很多不便。查阅很多资料后总结了一套完全基于命令行的安装和更新WAS的经验,这里介绍一下,希望能给不熟悉WAS的人一些帮助。