spark的日志如何输出到文件？

问题描述

在spark运行的过程中，在console打印出来的信息能保存到日志当中吗？怎么去设定log4j的相关信息？求指导

解决方案

解决方案二：
可以修改conf目录下log4j.properties文件：log4j.rootCategory=STDOUT,DEBUG,INFO,console,FILElog4j.appender.FILE=org.apache.log4j.FileAppenderlog4j.appender.FILE.File=/home/hadoop/software/spark-1.1.0-bin-hadoop2.4/logs/file.loglog4j.appender.FILE.Append=truelog4j.appender.FILE.Threshold=DEBUGlog4j.appender.FILE.layout=org.apache.log4j.PatternLayoutlog4j.appender.FILE.layout.ConversionPattern=%-d{yyyy-MM-ddHH:mm:ss}[%t:%r]-[%p]%m%n
解决方案三：
好的谢谢我试试

时间： 2024-09-13 16:41:27

spark的日志如何输出到文件？的相关文章

.NET Core下的日志（3）：如何将日志消息输出到控制台上

当我们利用LoggerFactory创建一个Logger对象并利用它来实现日志记录,这个过程会产生一个日志消息,日志消息的流向取决于注册到LoggerFactory之上的LoggerProvider.说的更加具体一点,日志消息的归宿取决于注册到LoggerFactory的LoggerProvider究竟会提供怎样的Logger.微软提供了一系列原生的LoggerProvider,我们先来认识一下将控制台作为日志输出目的地的ConsoleLoggerProvider.ConsoleLoggerPr

log-如何配置tomcat把访问日志也输出到tomcat命令窗口

问题描述 如何配置tomcat把访问日志也输出到tomcat命令窗口 目前我用的是tomcat7或8,请问各位配置把localhost_access_log.txt的日志也输出到tomcat命令窗口. tomcat命令窗口的日志存放在Tomcat 8.0logs目录下,该目录下有多个文件?,都是记录日志的,我发现 localhost_access_log.txt的?日志只会记录在该文件中,请问怎么配置让它也可以输出到tomcat命令窗口? 解决方案 配置Tomcat的访问日志格式化输出配置Tom

利用ASP输出excel文件实例讲解_应用技巧

在asp中利用excel的一个方法是将excel文件作为一个数据库进行链接,然后的操作和对access数据库操作类似.但是这个方法不是总能有用的,应为excel不是关系型的数据库.对于一个固定格式,这个格式里有复杂的单元格合并,边框线条样式,还有图案,单元格之间还有公式关系等等的,我想最容易理解的就是在后台打开一个已有设定好模板的文件,然后在需要的地方插入数据,保存,输出... ... 这里提到的这种方法是直接建立一个excel对象,在后台可以更方便的对excel文档进行各种操作. 服务器端还必

代码-输出的文件没有覆盖问题

问题描述 输出的文件没有覆盖问题 ofstream fllh("lh.txt", ios::app); if (!fllh) { cout<<"failed to open data file."<<endl; exit (0); } else { fllh<<setiosflags(ios::fixed)<<setprecision(7)<<L<<endl; } fllh.close(); 写

修改Keepalived配置文件位置以及重定向Keepalived日志的输出路径

上一篇博文主要讲述了如何使用Keepalived实现tomcat服务器的双机热备.这篇博文是对上一篇博文的扩展,主要讲述如何修改Keepalived的默认配置文件的路径以及重定向Keepalived日志的输出路径.关于如何安装keepalived以及keepalived的安装路径问题,请参考上一篇博文. Keepalived默认的配置文件路径在/etc/keepalived/keepalived.conf Keepalived默认的日志文件保存在/var/log/messages 有时候由于现实

利用ASP输出excel文件实例讲解

在asp中利用excel的一个方法是将excel文件作为一个数据库进行链接,然后的操作和对access数据库操作类似.但是这个方法不是总能有用的,应为excel不是关系型的数据库.对于一个固定格式,这个格式里有复杂的单元格合并,边框线条样式,还有图案,单元格之间还有公式关系等等的,我想最容易理解的就是在后台打开一个已有设定好模板的文件,然后在需要的地方插入数据,保存,输出... ... 这里提到的这种方法是直接建立一个excel对象,在后台可以更方便的对excel文档进行各种操作. 服务器端还必

WPS 2012一键轻松输出PDF文件

  金山办公软件近期发布的WPS Office 2012办公软件秉承了WPS一贯轻巧灵快.安装便捷的特点,深度兼容微软Office,其采用的Windows 7风格的新界面,赋予用户焕然一新的视觉享受.另外,WPS Office 2012还提供10大文档创作工具,具备100项深度功能改进,其中的一键输出PDF文件功能,深受广大用户欢迎.下面就带大家一起看看输出PDF文件的具体操作. 一.输出PDF PDF全称Portable Document Format,译为可移植文档格式,其最大优点就是与跨系

Fireworks MX 2004 输出JPEG文件

3.输出JPEG文件 由于JPEG格式的文件总是以24位颜色进行保存和输出,因此无法像GIF格式那样通过编辑其调色板进行优化.所以当选择输出JPEG格式的图像时,颜色表为空.如图7-09. 图7-09 品质--设置JPEG图像的输出品质.品质越高文件也就越大: 平滑--设置图像表面的光滑度: 渐进式浏览器显示--选择该项后,在浏览器上查看此图像时,将由模糊逐渐到清晰的方式来显示: 锐化颜色边缘--将强化图像色边缘的锐化值,使图像更加清晰.

WPS 2012中一键轻松输出PDF文件

金山办公软件近期发布的WPS Office 2012办公软件秉承了WPS一贯轻巧灵快.安装便捷的特点,深度兼容微软Office,其采用的Windows 7风格的新界面,赋予用户焕然一新的视觉享受.另外,WPS Office 2012还提供10大文档创作工具,具备100项深度功能改进,其中的一键输出PDF文件功能,深受广大用户欢迎.下面就带大家一起看看输出PDF文件的具体操作. 一.输出PDF PDF全称Portable Document Format,译为可移植文档格式,其最大优点就是与跨系统平