百家讲坛:众专家围绕大数据各抒己见

  大数据时代,不仅带来巨大社会价值和商业价值,也带来很多争议和值得研究的话题。“大数据” 需要大量计算资源来存储、组织处理与报告结果。这一新兴领域改变了数据中心服务器与其他基础设施的选择与部署方式。

  为了在现今的商业环境中竞争并获得成功,公司必须通过对现有数据进行多维度的分析,才能做出业务决策。分析这些不断膨胀的大数据已经成为越来越重要的趋势与机遇。

  SearchDataCenter咨询委员会将介绍受大数据影响的商业模式,如何改变企业数据中心的运作,并为大家提供关于新数据中心机会的独特见解。

  只需添加SAN

  独立培训师兼顾问Sander van Vugt

  大数据其实不是个很严重的问题。我的意思是,数据中心不会突然因为大数据的来到而突然变更他们处理海量数据的方式。

  我的看法相当简单:只需添加另一个存储区域网络(SAN),现在的SAN比早期具备更高的可扩展性。这意味着企业可以开始学习处理两个不同等级存储网络的数据:一个是他们正在使用的关键数据,一个是仍然需要被保存,但不那么重要的数据。

  业务应用会带来越来越多的大数据机会

  IT研究与分析公司Quocirca的创始人兼IT研究与服务总监Clive Longbottom

  我们还处在真正企业级大数据的起跑线上,路还很长。

  现在,数据中心使用存储虚拟化来组织联合数据源。商业智能(BI)提供更先进的大数据处理方案,如Pentaho、Logi、QlikTech与Birst。基于Java的编程框架Hadoop被更先进的企业作为非持久性过滤器来处理多重数据类型。NoSQL 数据库,例如MongoDB与CouchBase,成为处理非结构化数据的有效利器。管理工具则有Splunk,可以协助完成服务器之间的数据文件管理等工作。

  这些工具都需要使用自己的基础设施来支持,并需要精心设计以得到理想的结果。分析及服务提供商不断涌现,提供BI与云计算能力——许多组织最终都会朝这个方向发展,以避免混合环境的复杂性。IBM、Teradata、EMC与其他厂商提供混合设备来满足业务需求,可以满足用户保留所有在线数据并从外部资源吸取额外的信息。混合设备处理架构处理介于与非结构化数据,处理方式比当前的大数据结构更加工程化,但造价也相当不菲。

  选好服务器、存储与架构

  高级技术编辑Stephen J. Bigelow

  选好用于数据分析的工具,如Hadoop与MapReduce软件,它可以将任务分布到数千节点(处理器)上进行计算,并负责将结果收集起来。

  软件所使用的高可扩展性任务分布式计算方案与传统的单线程执行有着本质上的不同,意味着大型服务器就拥有最大与最强的计算能力。可以假设大型的服务器也拥有最多的处理器核心,如Intel的Xeon E7-8800 v2处理器,拥有15个核心,并且支持超线程。数据中心可以通过购买这些服务器来解决大数据计算处理的问题。

  精简指令集处理器是许多大数据服务器的另一种选择,它可以提供大量的处理器核心,而产生的热量比传统的x86处理器少得多。Dell开发了基于Calxeda ARM芯片的Zinc服务器来支持企业应用。

  虽然更多处理器需要额外的内存空间来处理与存储结果,大数据更专注于计算任务,所以服务器的内存总和可能会非常之大,甚至超过大几百G。例如,HP的ConvergedSystem的Vertica Analytics Platform拥有128G内存,IBM的System x针对Hadoop的参考架构要求服务器具备384G内存。

  大数据服务器同样还可以集成图形处理单元,如NVIDIA公司的Tesla K40,因为GPU被设计为处理复杂的数学计算,如双精度浮点计算可以达到1.4T flops(一个TFLOPS(teraFLOPS)等于每秒一兆(=1012)次的浮点运算)。大量数学计算可以从多个处理器中卸载到单个GPU上,还无需附加系统内存。

  任何大数据平台在评估时都必须考虑基础设施,如网络和存储。多端口网卡可以帮助服务器之间分配工作量。从千兆以太网升级到万兆以太网,可以在大数据环境下发挥更高利用率。还必须有足够多的交换机端口(千兆或者万兆以太网),以满足所有服务器端口的连接需求。此外,IT架构师还可以考虑将每个服务器的端口分摊到不同的交换机上,构建更强大可用的环境。数据中心可能需要为更新型号的网络交换机,提供更多预算。

  Hadoop与其他大数据应用程序通常通过使用本地存储与独立处理器,而不是共享存储来提升性能。将磁盘任务分配到许多磁盘上独立运行,可以最小化磁盘延时。同样还可以考虑使用固态硬盘替换传统的机械硬盘,甚至还可以使用更快的、基于PCIE接口的固态硬盘加速卡来提升性能。

  D1Net评论:

  对于大数据,有很多值得讨论的地方,对大数据的见解也是仁者见仁,智者见智,众多专家围绕大数据各抒己见,为广大用户提供应用参考,对于用户而言,正确认识大数据是将大数据应用到实处的前提条件。

时间: 2024-10-29 09:38:21

百家讲坛:众专家围绕大数据各抒己见的相关文章

喻大华揭《百家讲坛》秘闻录节目每集一千块

喻大华 世上的事情,有时候就是信则有,不信则无.喻大华连一顿饭钱都没掏,就上了四次央视的<百家讲坛>,他坚信在这个节目中不存在潜规则这东西.而王跃文因为官司输了,坚持认为"我在法院有熟人"会成为新的流行语.当官场小说作家自认为遭遇官场潜规则时,这事儿就变得有些幽默了-- 亮相西安揭秘<百家讲坛>趣事 喻大华:<百家讲坛>没有潜规则 喻大华是辽宁师范大学的教授,四次登上央视<百家讲坛>,出镜率之高,可以跟最红的于丹.易中天相比:他还有个称号

将高效IT进行到底 数据中心百家讲坛开课

网界网"数据中心百家讲坛"大型网络免费公开课,2012年7月18日下午14:00-15:00第十四课时演讲,主题为"<将高效IT进行到底-戴尔12代刀片服务器介绍>". 活动直播地址:http://www.cnw.com.cn/bjjt/ 本次直播期间,DELL派出了强大的技术团队为你现场答疑,您可以随时与这些专家进行在线互动.机会难得! 李毅  戴尔政府教育及大客户部下一代计算解决方案市场部高级经理 龙志云 戴尔中国公共事业部与大企业部服务器高级市场经

数据中心“百家讲坛”第一期精彩问答TOP10

2011年7月20日,Dell刀片及网络架构高级经理,资深网络专家李海平做客网络世界<数据中心"百家讲坛">栏目,以云计算和数据中心的网络发展为主题,开坛巨献"下一代云计算数据中心网络发展". 此次在视频直播期间,参会网友进行580多次在线互动,提出了300多个问题.网络世界整理了关于此次演讲中,Dell工程师所回答的10条精彩问题解答,希望能够帮助大家对数据中心的发展有更清晰的认识. 问:我觉得如何将现有的系统无缝的向云中迁移是现阶段比较重要的问题.

14家影响未来的隐形大数据创业公司

文章讲的是14家影响未来的隐形大数据创业公司,从14家大数据创业公司的产品和业务模式我们可以看出,大数据创新呈现四化趋势:实时化.专业化.易用化(可视化.民主化).云端化. 美国科技博客网站Business Insider为我们列出了14家正在崛起的大数据创业公司.这些公司多已获得VC支持,但尚未引起市场的普遍关注,不过这些公司的产品和业务模式却可能代表着大数据发展的未来方向. "大数据之所以有趣,是因为它将是未来许多年时间里的一个重大投资领域.大数据浪潮将持续很久,而不会是18个月或24个月以

青年自拍视频挑战百家讲坛续:获40万点击

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 前日,韩江雪在住处接受采访.本报记者 吴江 摄 本报讯 (记者王卡拉)自己掏钱模仿<百家讲坛>风格拍摄视频<从靖康耻到风波亭>上部.33岁的作者韩江雪昨日表示,媒体的报道让他戴上"非暴力抵抗文化霸权"的光环,而且获得40万点击率,他也有幸结识了<百家讲坛>主讲人纪连海,学到更多演讲技巧.

专家:大数据成政府实现治理现代化的新途径

大数据与政府治理创新研讨会11日在贵安新区举行. 当前信息化快速发展的进程当中,互联网大数据给人类社会各个领域带来了巨大的便利,同时大数据的运用也给政府的创新提供了空间. 10月11日,在贵州省贵安新区举行的大数据与政府治理创新研讨会上,来自国内60余位政府官员及大数据行业的专家齐聚一堂,围绕大数据如何创新政府治理这一话题进行了热议.专家认为,利用大数据可创新政府治理,大数据已成为政府实现治理现代化的新途径. 如今,在"大数据时代",运用大数据推动经济发展.完善社会治理.提升政府服务和

尖峰对话专家 IBM大数据平台差异化优势

本文讲的是尖峰对话专家 IBM大数据平台差异化优势,当前,行业对于"大数据"的关注疾速攀升,这并不亚于数据本身的增长程度.您是否想过,我们看到的"谈大数据色变"或许只是个表象,走在行业前列的企业早已开始默默挖掘大数据中蕴含的"金矿",为自己的业务飙升迈出制胜一步. 作为行业引领者,IBM一直走在新趋势的前沿,对于大数据更是全力融合创新技术与行业经验助力客户梳理大数据概念,选择战略方向,制定方案策略,实现行业落地:今年5月,IBM智慧的分析洞察正式

Hadoop挨批!专家认为大数据让研究困难

1 统计显示Hadoop挨批评 大数据这个概念由来已久, 也一直引人关注.很多人也认为大数据是大多数商业和科学问题的答案. 调查结果统计(图:paradigm4.com) 但是最新的一项http://www.aliyun.com/zixun/aggregation/32268.html">调查显示的结果和人们的心理预期并不相符.根据数据库专家Paradigm4的数据显示,近四分之三的科学家认为大数据使得他们的研究变得更加困难. 调查结果统计(图:paradigm4.com) 一项针对111

清华讲坛:国双大数据助力传统媒体融合转型

本文讲的是 : 清华讲坛:国双大数据助力传统媒体融合转型   ,   新媒体时代来临,微信.微博等社交平台方兴未艾,人人都成为信息的主体和传播渠道,传统媒体的内容垄断地位及收费模式面临严峻挑战,纷纷寻求借助新技术,实现成功转型.在8月21日清华-青岛数据科学研究院&大数据产业联合会举办的"大数据驱动下的媒体业转型讲座上",国双科技新媒体事业部总经理陈杰从技术应用的角度出发对传统媒体如何实现转型.赢得更多用户进行了深度剖析,娓娓道来国双为央视网.芒果TV等电视台及网络电视台提供服