ETL工具之——kettle使用简介

今天我们打断一下ELK工具的使用讲解过程,来说说ETL工具kettle。首先我们要了解一下什么是ETL工具:
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。

把数据从源取出,通过处理后放到标准的数据库中,你可以初略的这么去认为,这对于需要大量操作数据表格的人来说是有福了额(集团对账,片区分销体系汇总,无数的Excel),你可以在保证在数据格式安全合法的情况下UI试的吧元数据规规矩矩的导入到你的表里面,然后在进行相关的操作。ETL工具有很多,相关信息大家可以参考这篇文章:http://blog.csdn.net/hfxl1108/article/details/8564941 。而我今天要说的就是其中一款开源开源工具:kettle 下载地址:http://kettle.pentaho.com/
kettle ,是一款很好用的开源工具。期精准的UI操作非常的省事。我今天要说的是Windows版本,当然Windows版本和LIunx的操作是一样的。首先我们去下载好kettle,然后解压至指定目录。进入目录运行spoon.bat

出现UI界面:

最终界面:

你可以选择新建一个准换,然后在左侧的组件界面选择组件,拉去到右侧的空白面板上,我们今天一一个Excel数据到数据库为例子:需要选取三个组件,分别是:获取文件名、Excel输入、表输出
选取完成以后是这个样子的:

我们需要按照先后顺序对其进行连接:按住shift然后连接:

好了,现在开始我们的UI操作,
第一步:双击获取文件名

完成以后的设置应该是这个样子的:

至此第一步完成

第二步:双击Excel输入
1、编辑文件面板:

完成后的文件面板:

2、编辑工作表面板:这里需要注意的是,你要明确你的表头在在第几行第几列(从0开始)不然后面获取字段的时候会出现问题。

完成后的面板:

3、编辑字段面板:

至此Excel输入完成。

第三步:双击表输出
1、新建一个数据库练级:

2、选择目标表

3、获取数据字段:

4、映射字段:

打完收工。

第四步:获取文件名

第五步:运行


到这里就全部完成了,来看看数据是否进入了数据库:

数据已存在!

好了,你可以进行你操作了,还有很多很多的好用的功能没有介绍,自己去看看吧,很好玩的。

时间: 2024-08-01 12:29:13

ETL工具之——kettle使用简介的相关文章

ETL工具 kettle

Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,j

关于etl工具kettle的使用

问题描述 关于etl工具kettle的使用 楼主因为工作原因需要使用kettle,目前遇到一个问题请各位大神帮帮我. 在进行简单的转换的时候,如何操作才能传递参数到表输入的条件中. 例如,_select* from tablename where column='XXXX' 怎么操作才能实现只需要传入参数,就能得到不同结果!谢谢大家了 解决方案 说明:阻塞数据是将前一步的数据挤压到一个临时文件.知道没有数据或步骤执行完成之后,才执行下一个步骤.......答案就在这里:ETL kettle 工具

数据-关于etl工具kettle的流程设计

问题描述 关于etl工具kettle的流程设计 ETL工具kettle中如何设计流程使获取excel中多个sheet页数据到指定数据集中 解决方案 ETL工具设计关于ETL 工具 kettleETL工具kettle源码编译

关于etl工具kettle中双击 spoon.bat

问题描述 关于etl工具kettle中双击 spoon.bat '.java.exe -version 2>&1:C:Windowssystem32find/C"64-Bit不是内部程序 双击 spoon.bat,就出现这个窗口,一闪而过,然后就没动静了,到底是什么原因啊 坐等大神 我电脑是win7 64位 操作系统 java环境变量什么的都配好了 急

几款开源的ETL工具及ELT初探

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.ETL 是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去. 我们在下方列出了 7 款开源的 ETL 工具,并讨论了从 ETL 转向"无 ETL"的过程,因为 ELT 正迅速成为现代数据和云环境的终极过程. 注:原文包含 11 项

从ETL工具到企业云数据管理,在大数据风口的Informatica完成蜕变

数据已经成为整个社会的一个重要资产,越来越多的企业正在向数据驱动型企业转型.然而,数据的爆炸性增长,特别是非结构化数据的爆炸性增长使得这种转型面临巨大挑战.有研究显示,到2020年,平均每个互联网用户每天会产生1.5GB数据:一个智能工厂每天产生1PB数据--.未来数据量会越来越大,其中非结构化数据的增速要远远超过传统的结构化数据,使得企业从海量数据中获得洞察面临严峻的挑战. 10月31日,为了探求问题答案,Informatica 的300多名客户和合作伙伴来到2017 Informatica数

Eclipse Web工具平台V1.0简介

预备知识 关于本教程 本教程使用 Web 工具平台 (WTP)中包含的工具.Derby 数据库 Eclipse 插件和 JBoss 应用程序服务器构建一个包含 Java Server Page(JSP).servlet 和会话 bean 的示例 Java 2 Platform,Enterprise Edition(J2EE)应用程序.示例应用程序是个简单的书签存储程序. 先决条件 在学习本教程之前,您应对 J2EE 有基本的理解,包括 JSP.servlet 和 EJB.还应熟悉 Eclipse

ETL 工具下载全集 包括 Informatica Datastage Cognos( 持续更新)

Datastage 8.0 BT种子下载:http://files.cnblogs.com/taven/Datastage_8.0.rar   Informatica PowerCenter 8.6.0 for Win 32Bit BT种子下载:http://files.cnblogs.com/taven/Informatica_PowerCenter_8.6.0_for_Win_32Bit.rar   Cognos BI 8.3 BT种子下载: http://files.cnblogs.com

大数据与机器学习:实践方法与行业案例.2.3 ETL

2.3 ETL ETL是Extract-Transform-Load的缩写,是数据的抽取.转换.加载过程,当需要将数据从一个环境转移到另一个环境时(例如从生产环境到分析环境),或者需要对数据进行进一步加工处理时(例如在分析环境中,在数据仓库基础上产出每日交易量指标),即需要借助ETL过程. ETL是构建数据闭环自循环过程的重要途径,几乎每个环节均可以通过ETL来完成.通过专门的ETL工具,定制满足业务要求的ETL作业,并结合自动调度工具,即可以实现数据的自动循环. 2.3.1 ETL工具 目前国