Apache Sqoop 1.99.4 发布,Hadoop 数据迁移

Apache Sqoop 1.99.4 发布,这是 Sqoop2 的第四个里程碑版本,是非常重要的一个里程碑。

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

该版本改进内容和新特性:

Improvement

  • [SQOOP-773] – Sqoop2: Batch execution support for client commands
  • [SQOOP-1144] – Sqoop2: Add fixVersion to PreCommit branch detection
  • [SQOOP-1189] – Sqoop2: Ensure that clone methods will correctly copy over all values from all parents
  • [SQOOP-1196] – Sqoop2: Add support for arbitrary compression codecs
  • [SQOOP-1211] – Sqoop2: Derby repo: Sync maximal length of versions
  • [SQOOP-1225] – Sqoop 2 documentation for connector development
  • [SQOOP-1290] – Sqoop2: Kill Tomcat in case that Sqoop Server fails to load
  • [SQOOP-1509] – Sqoop2: Sqoop2 Rest API refactoring
  • [SQOOP-1547] – Sqoop2: Connector API stabilization
  • [SQOOP-1557] – Sqoop2: SQ_CONFIGURABLE ( for entities who own configs)
  • [SQOOP-1566] – Sqoop2: Fix the upgrade logic for SQOOP-1498
  • [SQOOP-1585] – Sqoop2: Prefix mapreduce classes with MR ( no functionality change)
  • [SQOOP-1586] – Sqoop2: Rename leftovers from the SQOOP2 merge of 1367
  • [SQOOP-1597] – Sqoop2: Refactor DerbySchemaQuery into one for create/ update/ and then CRUD operarations
  • [SQOOP-1620] – Sqoop2: FileSystem should be configurable in HDFS connector

New Feature

  • [SQOOP-777] – Sqoop2: Implement intermediate data format representation policy
  • [SQOOP-1232] – Sqoop2: Provide tooling infrastructure for Sqoop2
  • [SQOOP-1367] – Sqoop2: From/To

其他还有很多 bug 的修复,详情请看 Release Notes

相关链接

  • Sqoop 的详细介绍:请点这里
  • Sqoop 的下载地址:请点这里

文章转载自:开源中国社区 [http://www.oschina.net]

本文标题:Apache Sqoop 1.99.4 发布,Hadoop 数据迁移
本文地址:http://www.oschina.net/news/57397/apache-sqoop-1-99-4

时间: 2024-09-19 08:18:15

Apache Sqoop 1.99.4 发布,Hadoop 数据迁移的相关文章

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

免费开通大数据服务:https://www.aliyun.com/product/odps  想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办? 大数据计算服务(MaxCompute) 快速.完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全. 了解更多   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅-Let'

如何利用Apache Sqoop在DB2与Hadoop之间传递数据

随着云计算和物联网等技术在全球的快速发展,企业对大数据 (http://www.aliyun.com/zixun/aggregation/13527.html">Big Data) 业务的关注也持续升温.在大数据时代,数据无疑是企业的核心资产之一,若能盘活好数据,则能使企业在公司治理.企业决策和客户服务等方方面面受益匪浅:反之,则在现代企业竞争中,容易导致其核心竞争力下降,甚至衰落. Apache Hadoop 由于擅长处理大数据分析业务,受到了广大企业的青睐.目前,多数使用 Hadoop

Sqoop 1.99.3如何导入Oracle的数据到HDFS

第一步:进入客户端Shell fulong@FBI008:~$ sqoop.sh client Sqoop home directory: /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> set server --host FBI003 --port 12000 --webapp sqoop Server is set successfully

sqoop数据迁移(基于Hadoop和关系数据库服务器之间传送数据)

1:sqoop的概述: (1):sqoop是apache旗下一款"Hadoop和关系数据库服务器之间传送数据"的工具.(2):导入数据:MySQL,Oracle导入数据到Hadoop的HDFS.HIVE.HBASE等数据存储系统:(3):导出数据:从Hadoop的文件系统中导出数据到关系数据库 (4):工作机制: 将导入或导出命令翻译成mapreduce程序来实现: 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制: (5):Sqoop的原

VMware发布大数据扩展 试图虚拟化Hadoop

VMware近日宣布,将允许用vSphere来管理Hadoop集群.这样一来,成千上万的VMware企业客户将能够使用他们已经熟悉的软件来控制Hadoop部署.从技术方面说,这提高了该公司在虚拟化基础设施运行Hadoop节点的水平,同时将虚拟化的优势带到了大数据平台. VMware日前推出了VMware vSphere Big Data Extensions(大数据扩展),这将允许该公司广受欢迎的基础设施管理软件来控制企业客户建立的Hadoop集群.该扩展仍然需要一个基础Hadoop平台,Hor

sqoop hive oracle-sqoop 从oracle导数据到hive中报错

问题描述 sqoop 从oracle导数据到hive中报错 往hive中导入表,报如下错误,请大家帮忙 [root@amorsay3 bin]# ./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.13.168:1521:orcl --username HADOOPLEARN --password zhao --table EMP -m 1 --hive-table emp1 Warning: /usr/local/h

sqoop 1 99 5-sqoop2-tool verify报错

问题描述 sqoop2-tool verify报错 hadoop 2.6.0下安装sqoop 1.99.5 工具验证时(./sqoop2-tool verify)报错,报错,报错信息如下:Sqoop home directory: /home/kael/sqoop-1.99.5-bin-hadoop200Setting SQOOP_HTTP_PORT: 12000Setting SQOOP_ADMIN_PORT: 12001Using CATALINA_OPTS: Adding to CATAL

Hortonworks发布Hadoop重要贡献公司名单

Yahoo新成立的Hadoop公司http://www.aliyun.com/zixun/aggregation/14112.html">Hortonworks,最近发布"Yahoo对Hadoop贡献"一文,标榜Yahoo是Hadoop最大贡献者,Cloudear CEO很不满,又爆出更为细致的分析数据, 从中,我们可以清晰看到各公司参与Hadoop参与情况:特别值得注意:华为公司在Hadoop重要贡献公司名单内,排在Google和Cisco的前面,说明华为公司也在积极

Sqoop找不到主类 Error: Could not find or load main class org.apache.sqoop.Sqoop

最近由于要使用Sqoop来到出数据到hdfs,可是发现Sqoop1.4.5跟hadoop2.X不兼容,需要对Sqoop1.4.5进行编译,编译的具体方法见:http://my.codeweblog.com/AlbertHa/blog/318551 如果一切都顺利的话需要就不会遇到什么问题,但是有一个问题一直困扰了一周! 这是问题是什么呢? 就是每次执行$SQOOP_HOME/bin/sqoop脚本的时候总是抱一个错误: Error: Could not find or load main cla