红象云腾发布新一代PB级高速大数据平台产品

ZD至顶网服务器频道 03月23日 新闻消息:在3月19日举办的China Hadoop Summit(中国Hadoop技术峰会)上,中国Hadoop大数据厂商红象云腾与OpenPOWER基金会共同发布红象云腾的新一代大数据产品,帮助企业高速处理PB规模数据。 

此次发布的两款新产品中,“红象数据高铁-CRH4”的RedHadoop Enterprise CRH4 For POWER版软件,是全球第一个支持OpenPOWER服务器的Hadoop商业版本。同时发布的RedHadoop Enterprise CRH4 For POWER EC版软件, 支持Hadoop HDFS Erasure Code CAPI FPGA加速方案,也是全球第一个支持Erasure code(可擦除码)在FPGA/CAPI上实现的商业发行版Hadoop方案。 

用“高铁”比喻Hadoop,源自二者动力原理的相似:高铁的效率比传统火车快,是因为每节车厢都有动力,而不仅仅是火车头有动力。基于分布式技术的Hadoop的原理即把数据分块,通过并行运算来提高数据检索、查询、分析等操作的效率,每台机器都有自己的动力(计算力)与存储,从而提供充沛的动力和功能模块来提升客户的大数据应用环境。

北京红象云腾系统技术有限公司总经理童小军演讲

可以看出这两款产品都是为OpenPOWER服务器定制的。从OpenPOWER生态的角度看,两款大数据产品的发布也进一步完善了OpenPOWER的生态链。据北京红象云腾系统技术有限公司总经理童小军介绍,基于OpenPOWER服务器的开发的RedHadoop的性能大幅提高。标准的Hadoop测试表明:在OpenPOWER服务器上的Redhadoop测试值,是在x86服务器上测试值的三倍。同时,RedHadoop借助FPGA/CAPI来实现Erasure Code加速算法,将原本社区版的三份副本的存储量缩小到原来的一半,大大降低磁盘使用,节省一半磁盘成本,并通过红象DataBank产品实现界面化操作数据,提高大数据工具使用效率。 

据悉,作为Hadoop社区经典难题,Erasure Code (可擦除码)是由Xilinx、IBM中国研究院和红象云腾、恒扬科技、中太、烽火科技等OpenPOWER成员及合作伙伴联合研发的。 

“大家都在盼望Erasure code, 这个功能在Hadoop 1.0年代存在,但是到了Hadoop 2.0年代就被取消了。这其实是非常好的功能,可以大大节省硬盘存储。”中国Hadoop技术峰会主席何建军评价说,“随着我们去年开始倡导第二代分布式计算架构,今天的Erasure code第一次真正意义上实现了分布式计算,把CPU不适用的算法挪到了FPGA/CAPI上,而FPGA/CAPI上来计算擦除码是传统软件算法的300倍。我很高兴,今天我们的Hadoop爱好者们可以享受到更好的技术。”

据悉,这一系列产品具备分布式存储和计算功能,支持PB级海量数据存储和批处理、流处理、内存计算、多维查询、搜索引擎等,支持在其前往数据中进行分钟级统计和秒级延迟检索,在在线(Online)、近线(NearLine)、离线(OffLine)三大应用场景做场景优化,为用户提供全场景的大数据平台解决方案。与此配套的Redhadoop Databank则成功提升大数据人机交互,通过可视化数据展现和多维度查询,让Hadoop使用更安全,更简单,更快速。 

并且这些大数据产品已在联想集团、NTT-DOCOMO、中国航天等企业顺利上线,管理最大集群超过100台,数据达到 4.8PB规模。其中,联想集团通过红象Hadoop和奥飞ETL,在三个月内完成完成了数据仓库、实时计算、多维查询等应用,出数效率提高到分钟级别。 

背景知识

红象云腾公司于2016年初加入OpenPOWER基金会,并提出 +Hadoop战略——将HADOOP技术融入到各种应用场景中,打造“芯片、操作系统、云计算、算法(深度学习)、应用、行业”+Hadoop等多个细分战略方向。 

原文发布时间为:2016-03-23

本文作者:于泽

时间: 2025-01-24 12:33:24

红象云腾发布新一代PB级高速大数据平台产品的相关文章

PB级分布式大数据的处理和分析应用

文章讲的是PB级分布式大数据的处理和分析应用,对于大数据,串行的处理方式难以满足人们的要求,现在主要采用并行计算方式.现有的并行计算可以分为两种: ·细粒度的并行计算.这里细粒度主要是指指令或进程级别,由于GPU比CPU拥有更强的并行处理能力,人们将一些任务交给GPU并行处理,一些GPU制造商也推出了方便程序员使用的编程模型,如NVIDIA推出的CUDA等. ·粗粒度的并行计算.这里粗粒度指的是任务级别,人们将工作分布到不同机器中执行,最近流行的网格计算.分布式计算都属于粗粒度级别. 由于现有G

百分点发布大数据平台产品 固化企业全数据处理流程

ZDNET至顶网CIO与应用频道 07月28日 综合消息:近日,大数据技术与应用服务商百分点集团推出其面向企业级应用的新一代大数据平台产品"百分点数据管家".数据管家浓缩了百分点在大数据领域深耕5年来所积累的核心技术与算法模型,支持PB级海量数据的采集.存储.整合和挖掘,能够满足中国企业对多源异构的全业务链数据进行统合管理.深度挖掘.实时计算的需求,帮助中国企业构架大数据时代的核心能力. 作为当今企业信息化领域最热门的话题,大数据掀起了新一波IT投资和信息化建设的浪潮.无论是在大数据发

阿里再次“拔高”云业务 发布大数据平台

阿里的云业务在集团内部的重要性正在持续上升中,去年下半年以来,包括马云在内的众多阿里高管不断在各种场合向外界强调所谓DT时代(大数据时代)的来临. 1月20日,阿里云发布全球首个一站式大数据平台"数加",首批亮相20款产品,阿里云做"普惠大数据"的野心再一次显现. 据了解,"数加"将向有数据开发能力的团队开放,这些团队可入驻"数加",借助数加上的工具为各行各业提供数据服务."这就像在淘宝开店一样,只是他们售卖的是专业

云栖大会上海峰会20日将发布大数据平台

本文讲的是云栖大会上海峰会20日将发布大数据平台 本月20日,2016云栖大会上海峰会将在上海科技馆召开.云栖大会是目前全球最大规模的云计算大数据行业巡回峰会.作为主办方,阿里云将在此次大会上发布全新的大数据平台,并进一步扩展其混合云生态. 大会主题为"HELLO,DT WORDLD",意指通过大数据技术为企业和公众敲开DT世界的大门.阿里云总裁胡晓明认为,人类正从IT时代走向DT时代.在DT时代,计算成为一种生产能力,而数据会成为最大的生产资料."能否获取这种新能源,大数据

阿里云一站式大数据平台"数加"产品发布

文章讲的是阿里云一站式大数据平台"数加"产品发布,阿里云在2016云栖大会上海峰会上宣布开放阿里巴巴十年的大数据能力,发布一站式大数据平台"数加",首批亮相20款产品.据介绍,在输出自身大数据能力的同时,"数加"还向有数据开发能力的团队开放.这些团队可入驻"数加",借助数加上的工具为各行各业提供数据服务. 此次,"数加"平台首批集中发布了20款产品,覆盖数据采集.计算引擎.数据加工.数据分析.机器学习.数据

阿里云发布一站式大数据平台“数加”

1月20日消息,阿里云在2016云栖大会上海峰会上宣布开放阿里巴巴十年的大数据能力,发布一站式大数据平台"数加",首批亮相20款产品.据介绍,在输出自身大数据能力的同时,"数加"还向有数据开发能力的团队开放.这些团队可入驻"数加",借助数加上的工具为各行各业提供数据服务. "这就像在淘宝开店一样,只是他们售卖的是专业能力."阿里云大数据事业部资深总监徐常亮表示,阿里云计划用3年时间吸引1000家合作伙伴入驻,共同分享1万亿的大

支撑EB级规模的大数据平台深度揭秘

编者按: 4月20日,云栖大会走进深圳,由阿里云高级数据仓库专家陈鹏宇(花名:不老)分享的环节内容量巨大,引发现场用户关注.他分享的议题主要围绕阿里云数加平台,这一发布不久的大数据平台对很多人来说还比较陌生,但是这个平台的历史和其上所服务的众多业务,却是耳熟能详的,几个数字,瞬间抓住眼球:   双十一狂欢节,水立方实时直播,万亿级数据计算,3秒钟出结果 蚂蚁小贷利用大数据实现普惠金融,1秒钟放贷,全程自动化决策 菜鸟智能物流骨干网,货.人.车.仓智能调度,目标实现全国24小时送达 阿里集团99.

阿里云“数加”大数据平台为计算加点料

数据在现在的年代一点也不缺,大数据时代是一个很好的解释,而且计算也是我们从很早就开始做的一件事. 计算在那个年时代是一件相对困难的事情,但是在现如今计算的能力却平易近人.这就不得不说到图灵,他被誉为计算机之父,其让计算发生了质的飞跃. 为了计算而奋斗始终 为了无法计算的价值,正是现在企业要做的一件事,而这也成了阿里云甚至是2016栖大会上海站的主题,阿里巴巴集团首席技术官王坚对计算这点事做了充分的阐述. 阿里巴巴集团首席技术官王坚 因为有了互联网+数据+计算产生了巨大的价值,使得人类有机会看到以

百度发布全球首个开放大数据引擎

4月24日消息,百度第四届技术开放日在北京举行.此次会议以"大数据引擎驱动未来"为主题,是百度在互联网与传统产业深度融合的时代背景下,以大数据为主题举办的一次高规格技术盛会.百度董事长兼CEO李彦宏.百度高级副总裁王劲出席并做主题演讲.北京航空航天大学校长怀进鹏.中国疾病预防控制中心副主任高福.交通运输部科技司司长赵冲久.平安产险新渠道事业部副总经理孙炜分享了行业洞察和合作体会.来自政府.企业界.学术界的近千名嘉宾代表参加了大会. 百度CEO李彦宏表示:"技术创新是一个从量变