Kettle

KETTLE
　　Kettle是一款国外开源的etl工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
　　这个ETL的开源项目的名称，很有意思，直译中文为“水壶”。按项目负责人Matt的说法：把各种数据发到一个壶里，然后呢，以一种你希望的格式流出。
　　Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
　　Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
　　作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增多。
Pentaho Data Integration (Kettle)
Welcome to the community home for Pentaho Data Integration Community Edition (PDI CE) also known as Kettle. Pentaho Data Integration delivers powerful Extraction, Transformation and Loading (ETL) capabilities using an innovative, metadata-driven approach. With an intuitive, graphical, drag and drop design environment, and a proven, scalable, standards-based architecture, Pentaho Data Integration is increasingly the choice for organizations over traditional, proprietary ETL or data integration tools.
Community Edition is self supported open source software. An Enterprise Edition (EE) of Pentaho Data Integration including technical support, managed upgrades and enterprise features is also available. For more information about EE or for screenshots and datasheets, visit Pentaho Data Integration EE on Pentaho's corporate site.

本文出自seven的测试人生公众号最新内容请见作者的GitHub页：http://qaseven.github.io/

时间： 2025-01-20 20:41:56

Kettle的相关文章

kettle发送带附件的邮件

问题描述 kettle发送带附件的邮件 在用kettle发送带附件的邮件时,邮件能够发送成功,但是邮件里面没有附件,哪位大神给个成功的案例,或者帮忙看看是哪里的问题,谢谢! 解决方案 http://blog.csdn.net/ganggetwo/article/details/50914826 解决方案二: import java.io.File; import java.util.ArrayList; import java.util.List; import java.util.Proper

使用Kettle数据迁移添加主键和索引

Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,主要用于数据抽取.转换.装载.kettle兼容了市面上几十种数据库,故用kettle来做数据库的迁移视乎是个不错的选择. kettle的数据抽取主要在于抽取数据,而没有考虑数据库的函数.存储过程.视图.表结构以及索引.约束等等,而这些东西恰恰都是数据迁移需要考虑的事情.当然,如果在不考虑数据库中的函数.存储过程.视图的情况下,使用kettle进行数据的迁移还算是一个可行的方案. 这篇文章主要是讲述在使用kettle进行数据库的

转 Managing kettle job configuration

Over time I've grown a habit of making a configuration file for my kettle jobs. This is especially useful if you have a reusable job, where the same work has to be done but against different conditions. A simple example where I found this useful is w

开源项目 Kettle 介绍

1 ETL基本概念    1.1 ETL的定义 ETL分别是"Extract"." Transform" ."Load"三个单词的首字母缩写也就是"抽取"."转换"."装载" ,但我们日常往往简称其为数据抽取.ETL是BI/DW(商务智能/数据仓库)的 核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤.ETL包含了三

Kettle中添加一个参数字段到输出

kettle可以将输入流中的字段输出到输出流中,输入输出流可以为数据库.文件或其他,通常情况下输入流中字段为已知确定的,如果我想在输出流中添加一个来自转换的命令行参数的一个字段,该如何操作? 上述问题可以拆分为两个问题: 从命令行接受一个参数作为一个字段 合并输入流和这个字段 问题1 第一个问题可以使用kettle中获取系统信息组件,定义一个变量,该值来自命令行参数,见下图: 问题2 第二个问题可以使用kettle中记录关联 (笛卡尔输出)组件将两个组件关联起来,输出一个笛卡尔结果集,关联条件设

关于kettle工具的 mongo output组件中mongo document path设置问题

问题描述 关于kettle工具的 mongo output组件中mongo document path设置问题 现在我需要把oracle的数据迁移到mongoDB 假设oracle数据库中有下列三张表: <!-- 各表关系如下: -->Parent: BL_INFO --Child: BL_RTE(是BL_INFO的子表) --Child: BL_SHMT_LEG(是BL_RTE的子表) 在设计MongoDB Output的过程中,遇到个难题,没法设置第三层子表的Mongo Document

用Kettle的一套流程完成对整个数据库迁移

需求: 1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle. 2.你是否还在使用kettle重复的画着:表输入-表输出.创建表,而烦恼.  下面为你实现了一套通用的数据库迁移流程.  技术引导: 实现之初,在kettle提供的例子中找到了一个类似的(samples\jobs\process all tables). 通过相关改造,终于达到目标.  实现过程解剖: 整套流程分为:2个job,4个trans. 使用到的Trans插件:表输入.字段选择.复制记录到结果.从结果获取

关于etl工具kettle的使用

问题描述 关于etl工具kettle的使用 楼主因为工作原因需要使用kettle,目前遇到一个问题请各位大神帮帮我. 在进行简单的转换的时候,如何操作才能传递参数到表输入的条件中. 例如,_select* from tablename where column='XXXX' 怎么操作才能实现只需要传入参数,就能得到不同结果!谢谢大家了 解决方案 说明:阻塞数据是将前一步的数据挤压到一个临时文件.知道没有数据或步骤执行完成之后,才执行下一个步骤.......答案就在这里:ETL kettle 工具

ETL学习笔记之四：开源项目 Kettle

现在是一个Google的时代,而对于开发者,开源已成为最重要的参考书.对于某课题,不管你是深入研究还是初窥门径.估且google一把,勾一勾同行的成就,你必会获益良多.     说到ETL开源项目,Kettle当属翘首,因此,偶决定花点时间了解一下.     项目名称很有意思,水壶.按项目负责人Matt的说法:把各种数据放到一个壶里,然后呢,以一种你希望的格式流出.呵呵,外国人都很有联想力.     看了提供的文档,然后对发布程序的简单试用后,可以很清楚得看到Kettle的四大块:     Ch

kettle列转行-kettle如何用工具实现行转列列转行的详细操作

问题描述 kettle如何用工具实现行转列列转行的详细操作