kettle 日志

文件日志

命令行的／logfile参数，将日志导出到指定的文件中。
linux管道符将屏幕输出转成日志。
默认的日志文件保存在java.io.tmpdir目录下，文件名类似spoon_xxx.log
为便于调试，Spoon里的有日志窗口，内容和日志文件相同

日志相关参数

或者修改kettle.properties文件

KETTLE_MAX_LOG_SIZE_IN_LINE
KETTLE_MAX_LOG_TIMEOUT_IN_MINUTES

数据库日志

  • 转换数据库日志
    • 转换日志表
    • 步骤日志表
    • 性能日志表
    • 日志通道日志表

转换日志表


步骤日志表

性能日志表


- 作业数据库日志
- 作业日志表
- 作业项日志表
- 日志通道日志表

时间： 2024-07-30 07:05:16

kettle 日志的相关文章

kettle使用log4j管理输出日志

在使用kettle进行数据分析和清洗时日志非常多而且杂乱,使用原有的日志有时找不到异常的位置,有时日志不够详细,说简单一点就是日志不是我们想要的.因而对kettle日志进行相应的管理就想得尤为重要了.大家都知道java最常用的日志管理包log4j可以很好地实现java日志的管理,然而kettle是使用java开发的,因而log4j是个不二的选择.好了说了这么多,下面看看kettle怎么使用log4j进行日志的管理吧. 1.kettle加载和使用log4j 在转换的JavaScript中添加log

数据仓库-kettle Job日志问题--trans日志和job日志的关联

问题描述 kettle Job日志问题--trans日志和job日志的关联 各位大虾: 我们公司用KETTle工具创建JOB的方式完成数据同步,一个job中很可能有多个转换.现在需要对job的运行做监控:要求数据库中实现运行日志表(我选了资源库,是不是还要自己建立日志表,日志表的表结构怎么定义??),日志分两级-- Job 日志表记录每个转换的名称,开始运行时间,运行状态,报错信息等.每个转换还要有自己的日志来详细记录转换本身的运行状态. 解决方案 注意最下方中间的sql 要点击,生成语句后 点

【转】kettle 的内存设置及输出日志的时间类型

本文转载自:http://blog.csdn.net/dqswuyundong/archive/2010/10/19/5952004.aspx 设置kettle的内存 REM ******************************************************************REM ** Set java runtime options                                     **REM ** Change 256m to high

kettle作业中的js如何写日志文件

在kettle作业中JavaScript脚本有时候也扮演非常重要的角色,此时我们希望有一些日志记录.下面是job中JavaScript记录日志的方式. job的js写日志的方法. 得到日志输出实例 org.pentaho.di.core.logging.LogWriter.getInstance(); 按照日志的级别输出: public void logMinimal(String subject, String message, Object... args) { println(LOG_LE

采集日志到Hive

我们现在的需求是需要将线上的日志以小时为单位采集并存储到 hive 数据库中,方便以后使用 mapreduce 或者 impala 做数据分析.为了实现这个目标调研了 flume 如何采集数据到 hive,其他的日志采集框架尚未做调研. 日志压缩 flume中有个 HdfsSink 组件,其可以压缩日志进行保存,故首先想到我们的日志应该以压缩的方式进行保存,遂选择了 lzo 的压缩格式,HdfsSink 的配置如下: agent-1.sinks.sink_hdfs.channel = ch-1

开源项目 Kettle 介绍

1 ETL基本概念    1.1 ETL的定义 ETL分别是"Extract"." Transform" ."Load"三个单词的首字母缩写也就是"抽取"."转换"."装载" ,但我们日常往往简称其为数据抽取.ETL是BI/DW(商务智能/数据仓库)的 核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤.ETL包含了三

数据存储-postgreSql数据库的日志不能关闭吗

问题描述 postgreSql数据库的日志不能关闭吗 最近在使用kettle进行数据采集,从文件中读数据存储到postgresql数据库. 感觉存储效率太慢,想要关闭数据库的日志功能或许能提高效率. 可是网上看了说postgresql无法关闭pg_xlog和pg_clog 这两个和事务相关的日志功能. 请教下大神,真的不能关闭吗. 解决方案 Postgresql数据库日志维护

ETL学习笔记之四：开源项目 Kettle

现在是一个Google的时代,而对于开发者,开源已成为最重要的参考书.对于某课题,不管你是深入研究还是初窥门径.估且google一把,勾一勾同行的成就,你必会获益良多.     说到ETL开源项目,Kettle当属翘首,因此,偶决定花点时间了解一下.     项目名称很有意思,水壶.按项目负责人Matt的说法:把各种数据放到一个壶里,然后呢,以一种你希望的格式流出.呵呵,外国人都很有联想力.     看了提供的文档,然后对发布程序的简单试用后,可以很清楚得看到Kettle的四大块:     Ch

Kettle访问IDH2.3中的HBase

摘要 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定.big-data-plugin是kettle中用于访问bigdata,包括hadoop.cassandra.mongodb等nosql数据库的一个插件. 截至目前,kettle的版本为4.4.1,big-data-plugin插件支持cloudera CDH3u4.CDH4.1,暂不支持Intel的hadoop发行版本IDH. 本文主要介绍如何让kettl