性能提升数倍 IBM光谱计算搞定海量数据处理

一直以来,IBM给人呈现出的形象就是高大上的前瞻者,在大数据等方面一直引领着行业发展。近两年IBM还提出了认知商业概念,将企业级计算相关应用推向了高潮。

Spectrum Computing(光谱计算)是IBM刚刚推出的产品,它是一套全新智能资源与工作负载管理软件,能使企业更为轻松地挖掘数据价值,提升性能密集型大数据分析工作负载和机器学习的速度。该技术将为各行各业的客户提供支持,比如通过基因组排序实现更好的癌症治疗、辅助工程师设计出具有夺冠实力的一级方程式赛车、帮助银行家面向潜在客户推出个性化金融服务。

IBM整合Platform推出光谱计算 

IBM软件定义解决方案大中华区销售经理 周立旸

Platform Computing之前笔者也曾接触过,这是一家技术实力很强的企业,在分布式计算等方面有着较深造诣。当时给人留下深刻印象的案例就是空中客车以及各个证券交易所的分布式系统,非常强大。而在2011年IBM正式收购了Platform Computing,这些年来将其技术不断融入IBM,使其成为了现在的Spectrum Computing(光谱计算)。

谈到光谱计算,IBM软件定义解决方案大中华区销售经理周立旸认为:传统来说,往往计算和存储是分离的,随着新的认知型应用的发展,不仅需要水平扩展,实际上也是应对整个认知商业的大环境。我们不仅要存储、管理海量的数据,让这些数据真正产生价值,还是要对它进行有效应用和分析。在去年发布光谱存储家族软件定义存储的基础上,我们在今天发布Spectrum Computing,实现软件定义的平台,有助于用户、企业在软件定义存储的基础上通过软件定义计算对海量的非结构化数据进行充分的利用,从而为企业的数字化转型找到更多的价值点,也找到新的应用。

Spectrum Computing包含六大产品,提供强大整合管理能力

产品方面,据周立旸介绍光谱存储有六大产品,这六大产品可以单独作用,也可以互相结合,Spectrum Computing目前包含三大产品。一个是LSF,主要针对高性能和批处理应用,高性能计算在国内外很多制造业、电子行业、生命科学领域用的比较多,同样在企业里面也有大量批处理应用。

此外还有Symphony,主要针对大数据和高性能分析,一方面完全兼容所有Hadoop的接口,另一方面提供了自己的API,使得高性能分析应用不经过修改、只要经过这个API就可以在一台机器乃至几千台机器上动态地运行。

IBM最新发布的光谱计算中还包含全新的Spectrum Conductor。在应用方面,针对了所有新型的云应用,像现在Spark内存计算方式非常流行,还有新的NoSQL数据库,针对这些云类型的应用,需要有一个工作负载管理的产品。Conductor是可扩展的融合架构,不仅仅是水平扩展的软件定义的组件,它当中整合了软件定义计算和软件定义存储,这包含了分布式文件系统,也包含了怎么样把内部的数据和外部的云数据整合起来进行管理的能力。这也是整个产品家族里面最新的一个产品。

未来,随着软件定义计算和软件定义存储的融合,IBM会增加更多的整合方案,推出更多针对水平扩展的软件定义环境的融合架构的产品。

软件定义让企业用户更容易实现扩展

周立旸认为软件定义已经变得越来越重要。随着企业数据量越来越多,不是单一工具就能够满足它认知商业的所有需要,可能需要各种各样的工具,需要不同的NoSQL的DB,需要内存计算、流计算对实时信息作处理。每一种新型工具都是水平扩展的架构,对任何一个企业来讲都有五个到十个工具,可能对应采用传统的方式就要五个到十个集群。集群本身的管理使用起来比单一系统复杂。随着认知商业、云计算应用的发展,企业内部集群应用越来越多,必然需要一种新型方式,把很多个集群整合成一个,或者把一个云或者一个集群当做很多个集群来用,这正好是软件定义基础架构所解决的问题。

据周立旸介绍,IBM也有这样的客户,无论是国内、国外,国外有个金融保险公司,在一个平台上运行了30多种不同的分布式应用,包括开源软件,包括商用的客户行为分析、SPSS应用等。对于用户来讲,这种方式比自己建立很多个不同的集群更好,每个集群随着业务的增长还需要不断地扩展,不同的集群还需要访问下面的数据,这个复杂性的话随着应用的增加而成一个脊柱型的增长,必然最后会采用软件定义的方式来管理所有分布式的应用。

科研、金融和电信开始应用光谱计算

应用方面,周立旸表示目前光谱计算在金融业、电信应用比较多,电信行业中数据量非常大,要用水平扩展的架构,因此很多用大数据分析的平台也在用光谱计算。生命科学行业,前段时间IBM刚刚办了一个会,请了清华大学国家蛋白质中心代表和大家分享。随着生命科学的发展,它的数据量增加的非常多。清华大学的电子显微镜,大概数据产生速度是一天产生20多TB的数据,所以一定要通过水平扩展的架构。由于清华大学一栋教学楼的空间有限,现在这个集群要分在几个不同的楼层里面来,所以采用了IBM的软件定义方式进行生命科学的分析平台。未来随着认知商业的普及,相信行业覆盖面会越来越多、越来越广。

看似高大上的光谱计算目前已经开始应用到各个行业领域,采用软件定义方式,能够把整个集群平均利用率提升到90%甚至更高,有五到六倍效率提升。光谱计算给企业级应用带来了质的飞跃,新技术带来新革命,IBM继续着他的探索之路。

本文作者:云中子

来源:51CTO

时间: 2024-09-21 19:00:31

性能提升数倍 IBM光谱计算搞定海量数据处理的相关文章

阿里云SSD云盘第二轮公测 性能提升20倍

本文讲的是阿里云SSD云盘第二轮公测 性能提升20倍6月9日,阿里云开启了"大杀器"SSD云盘的第二轮公测,其IOPS提升到了20000,是当前云盘性能的20倍.同时,盘内数据全部实时落盘,可靠性9个9.尤其适合中大型关系数据库.核心业务系统以及中大型开发测试环境使用.SSD云盘已在杭州地域公测,公测期至7月15日免费使用. IOPS(Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一,一个普通的7200转的家用磁盘的IOPS

刘宏程:紫光华山全新Gen9引入永久性内存 存储性能提升34倍

近日,HPE更新了自己的第9代ProLiant服务器产品组合,引入了英特尔最新的Broadwell处理器以及新的永久内存技术,可让服务器的内存作为一个高性能的存储层. 现在的HPE服务器品牌已经隶属于紫光华山旗下,此次产品更新也是蜕变后HPE的首次服务器发布.HPE升级的产品多达20款,同时也是所有服务器升级厂商中涉及型号最多的,应用产品覆盖最广的品牌. 20款服务器升级至E5 V4 紫光华山科技有限公司(原中国惠普有限公司企业集团)工业标准服务器事业部产品市场总监刘宏程表示,此次升级除处理器之

手机淘宝如能够加入"公众旺旺"功能,商业价值将提升数倍

创事记 作者:许维 手机淘宝如能够加入"公众旺旺"功能,商业价值将提升数倍.i天下网商主编 许维(原文有删减) 除了微信以外,还有没有哪款移动互联网产品具有和微信同等的商业价值呢?我觉得是手机淘宝.手机淘宝如果能够加入类似于微信公众帐号的"公众旺旺"功能,它的商业价值将会提升数倍. 什么是"公众旺旺"呢?简单的说,就是模仿微信的公众帐号,在手机淘宝里也做一个一模一样的公众号体系.每个卖家都可以开通一个公众旺旺,这个公众旺旺只能被添加,不能去添加消

成人网站性能提升20倍之经验谈

色情业是个大行业.互联网上没有多少网站的流量能和最大的色情网站相匹敌. 要搞定这巨大的流量很难.更困难的是,在色情网站上提供的很多内容都是低延迟的实时流媒体而不是简单的静态视频.但是对于所有碰到过的挑战,我很少看到有搞定过它们的开发人员写的东西.所以我决定把自己在这方面的经验写出来. 问题是什么? 几年前,我正在为当时全世界访问量排名26的网站工作 - 这里不是说的色情网站排名,而是全世界排名. 当时,该网站通过RTMP(Real Time Messaging protocol)协议响应对色情流

哈佛/MIT学生创造GPU数据库,性能提升70倍

2012年Todd Mostak 在哈佛中东研究中心攻读硕士研究生,他试图为自己的论文主题绘制和处理阿拉伯之春期间发布的4千万Twitter帖子,但处理这些帖子数小时耗费了甚至数 天.没有现成的系统能帮助他实现大数据集快速互动分析,于是他一边读MIT的数据库课程,一边开发出了利用GeForce Titan GPU处理数据的并行数据库系统MapD(演示,非论文).基于GFU的数据库系统比基于CPU的数据库性能提升了70倍,而整个硬件只花了5千美元.Todd Mostak计划在开源许可证下发布Map

Nvidia称Tegra3图形性能提升3倍

新浪科技讯 北京时间11月9日上午消息,Nvidia今天宣布,该公司的新款Tegra 3处理器图形性能比上一代产品提升3倍,而能耗则降低61%. Tegra 3此前的开发代号为"Project Kal-El",这款四核处理器目前已经投产,并将成为Nvidia在增长迅猛的移动市场投下的最新赌注.以iPad为代表的平板电脑已经开始蚕食PC销量. Nvidia最初是一家PC显示芯片生产商,其目前的多数收入仍然来自这项业务.该公司CEO黄仁勋今年9月预计,采用Tegra 3处理器的设备将于年底

树莓派发布全新计算模块CM3,性能提升10倍

树莓派 Compute Module 3 树莓派(Raspberry Pi)正式推出全新一代计算模块(Compute Module 3,以下简称CM3),与树莓派3采用的是同款处理器. 树莓派推出的计算模块主要目的是工业用途,第一代计算模块(Compute Module 1,以下简称CM1)于2014年推出,采用的是和第一代树莓派相同的CPU.CM3的全新升级包括:1GB RAM,1.2GHz的博通BCM2837处理器.相比前代,CM3的CPU性能提高了10倍. 虽然这是第二代计算模块,但是它却

NGINX引入线程池 性能提升9倍

1. 引言 正如我们所知,NGINX采用了异步.事件驱动的方法来处理连接.这种处理方式无需(像使用传统架构的服务器一样)为每个请求创建额外的专用进程或者线程,而是在一个工作进程中处理多个连接和请求.为此,NGINX工作在非阻塞的socket模式下,并使用了epoll 和 kqueue这样有效的方法. 因为满负载进程的数量很少(通常每核CPU只有一个)而且恒定,所以任务切换只消耗很少的内存,而且不会浪费CPU周期.通过NGINX本身的实例,这种方法的优点已经为众人所知.NGINX可以非常好地处理百

优化临时表使用,SQL语句性能提升100倍

原载UC技术博客: http://tech.uc.cn/?p=2218 [问题现象] 线上mysql数据库爆出一个慢查询,DBA观察发现,查询时服务器IO飙升,IO占用率达到100%, 执行时间长达7s左右. SQL语句如下: SELECT DISTINCT g.*, cp.name AS cp_name, c.name AS category_name, t.name AS type_name FROMgm_game g LEFT JOIN gm_cp cp ON cp.id = g.cp_i