基于BI应用的基础架构选择

SaaS应用的数据量面临着TB级的增长速度;不同的SaaS应用体系,提供的数据结构也不完全相同,数据有文本、图形甚至小型数据库;SaaS应用数据随着云服务平台的分布性特点,有可能分布在不同的服务器上,如何对这些异构异源的数据进行数据挖掘,是云时代的企业面临的难题。

  云时代企业数据挖掘面临的挑战

  挖掘效率:进入云计算时代后,BI的思路发生了转换。以前是基于封闭的企业数据进行挖掘,而面对引入互联网应用后海量的异构数据(据预计到2020年,爆发式增长的数据量将突破35ZB(1ZB=10亿TB))时,目前并行挖掘算法的效率很低。

  多源数据:引入云计算后,企业数据的位置有可能在提供公有云服务的平台上,也可能在企业自建的私有云上,如何面对不同的数据源进行挖掘也是一个挑战。

  异构数据:Web数据的最大特点就是半结构化,如文档、报表、网页、声音、图像、视频等,而云计算带来了大量的基于互联网模式提供的SaaS应用,如何梳理有效数据是一个挑战。

  SaaS应用的数据挖掘希望能够通过海量数据存储平台,引入快速并行的挖掘算法,提高数据挖掘的质量。

如何选用合理的基础架构

  对于企业而言,如何将各种应用数据进行整合挖掘,提炼出适合其使用的商业信息是企业的一大急迫需求。传统的BI模式大多基于数据仓库,是关系型数据库的模式。面对急剧增长的异构数据,传统的数据仓库和原有的并行计算技术由于挖掘效率低,已经不能解决海量数据挖掘工作,影响着数据的及时提取。

  一直以来,商业智能系统往往基于传统的SMP架构小型机而构建。随着近年来X86平台的性能与日俱增、可用性日渐提升、扩展性飞速增长,X86平台在越来越多的市场领域开始侵蚀小型机份额,商业智能也成为X86架构向RISC小型机发起进攻的另一个战场。例如,Oracle推出的基于英特尔至强平台的Exadata数据库云服务器,通过独有的smartscan技术,以及数据处理过程下移的设计,在X86架构基础上同时提供了较高的OLAP性能(数据仓库应用)和OLTP性能。此外,IBM也推出了基于X86平台的商业智能解决方案,基于IBM独有的EX5架构服务器和XIV网格存储系统提供了不输于小型机的智能信息处理能力。

  选购要点:

  1、高可用性:BI的基础架构层,需要建立起数据挖掘云服务平台,而这个平台,必然是高可用性的。

  从高可用性来看,需要集中解决三个方面的问题:一是数据保护,需要利用CRC、ECC等硬件机制来对传输的数据进行校验、纠错,如果无法纠正,就将损坏的数据进行隔离,以保证不造成更大的数据,避免系统的重启和宕机。

  目前英特尔至强7500或E7合作的方案拥有诸多优势,如成本低、性能高、可靠性(RAS)高、可扩展性好等优势。在可扩展性能上,X86平台横向的向外扩展功能,即由两台以上的机器构成集群。能满足大多数企业关键应用环境的负载需求,包括对内存和CPU要求都较高的数据库、商业应用和虚拟化。进而避免传统UNIX双机方案“成本高昂,备机资源平时严重闲置浪费,主机故障切换期间用户服务被迫停顿”等诸多困境。

  此外,7500一些设计已经将计划宕机时间最小化,这当中包括系统分区管理技术、CPU和内存的热添加和热移除等,将系统维护时间降低到最小。

  2、虚拟化:数据挖掘云服务还是要依赖于虚拟化技术,要计算资源自主分配和调度,也就是说虚拟化技术是数据挖掘云服务技术的支撑。

  千万不要被概念忽悠

  大数据有很多不同的使用情况。因此,企业需要根据自身业务情况采用不同的的数据挖掘平台。对于那些注重应用分析和处理要求的客户来说,有很多专门的解决方案,例如惠普Vertica,此外还有很多高性能NAS或者目标系统。

  同样地,对于注重视频、安防监控、闭路电视、模拟仿真、大带宽或吞吐量的话,可以考虑惠普Ibrix、戴尔Exanet、BlueArc、HDS、NetApp、Data Direct Networks、Oracle 7000、EMC Isilon和VNX等。

  总的来说,用户可能会面对一大堆劝说你迁移到更昂贵系统的市场炒作。可能你现在的系统已经足够好的——如果可以扩展的话,厂商提供给你的并不一定可能很好地运行在你目前的环境下。

  对用户而言,需要警惕各种关于大数据的炒作,他们也许想要缩小你的选择范围。除了大数据所能带来的机遇之外,还有很多不同的方面需要考虑,例如它的特性、应用、使用实例以及部署方案。

(责任编辑:蒙遗善)

时间: 2024-09-24 19:36:36

基于BI应用的基础架构选择的相关文章

如何搭建配置基于NPIV的基础架构云

云计算是以服务形式交付 IT 的全面解决方案.它具有按需分配的特性,为企业节约早期的硬件和服务成本,也可以大大提高各企业的资源利用率.按服务的层次,云计算可以分为http://www.aliyun.com/zixun/aggregation/13748.html">基础架构云(IaaS).平台即服务(PaaS)和软件即服务(SaaS). NPIV (N_Port ID Virtualization) 是一个工业标准,它通过虚拟 HBA 卡,提供多个主机共享同一个光纤通道的虚拟化实现,从而为

Oracle助1号店整合数据平台简化IT基础架构

[天极网服务器频道5月9日消息]1号店目前采用Oracle Exadata数据库云服务器(Oracle Exadata Database Machine)成功优化统一整合的数据平台,满足了不断增长的业务处理需求,并进一步改善了终端客户体验.该平台采用混合负载互备架构,将平均处理性能提升7倍,以极高的稳定性和强大的可扩展性实现了最优化的总体拥有成本. 甲骨文与1号店的广告 自2008年上线以来,1号店开创了中国电子商务行业"网上超市"的先河,成为国内B2C电子商务行业的领军企业.长期以来

甲骨文扩充面向企业云基础架构Oracle优化方案

北京,2012年6月26日--甲骨文http://www.aliyun.com/zixun/aggregation/17539.html">公司宣布,为面向企业云基础架构的Oracle优化解决方案(Oracle Optimized Solution for Enterprise Cloud Infrastructure)推出新的SPARC/Oracle Solaris选件,以扩展甲骨文的云产品线. 目前有很多客户想对基于SPARC的现有基础架构进行升级.合并和虚拟化,而面向企业云基础架构的

基于成熟基础架构云平台的服务云建设

[硅谷网12月12日文]据<硅谷>杂志2012年第18期刊文,在分析当前云服务建设产业发展机遇的基础上,分析了传统云平台服务建设存在的主要问题.最后,基于成熟的基础架构云(IAAS)平台产品完成基础设施的整合和基础架构云的基础环境部署,验证基础架构云的相关技术能力.成熟度.安全性.可扩展性符合云计算云平台的要求. 0引言 近年来,全球云计算产业蓬勃发展.我国云计算产业兴起于20世纪90年代,云计算产业已经形成了竞争性的产业发展态势,以展览展示.网络游戏.远程教育.数字电视内容制作以及各种影视动

云存储基础架构:如何选择公共云与私有云

共云和私有云基础架构灵活,可扩展,成本相对较低.然而,每个云的实施都有其熟悉的和鲜为人知的缺点. 许多IT专业人士认为,私有云存储只是其当前基础设施的另一个名称,公共云存储也是同样如此,而只是在某公司的公共数据中心实施.那些存在这些想法的供应商通常缺乏云存储基础设施技术,或者试图在技术上赶上其他市场的发展. 传统的IT基础架构将数据中心分为多个功能:应用,计算,网络,存储和设施以及专业技术.孤立的数据中心基础设施对于缓慢增长,非动态,可预测的工作负载非常有利.这种类型的基础架构负责预测基础架构生

如何选择开源云基础架构工具?

为了能够为你的业务选择一个最佳的开源云基础架构工具,预先评估潜在工具,并且选择最佳的候选对象都是首要步骤.要询问一下这个工具是否是你需要的.云基础架构工具很复杂,而开源工具可能有没有很好的文档参考,很难做出对比. 下面有三种通用开源云基础架构工具的分类,可以帮助企业确定哪种对于你的云环境最有意义. 1.Apache CloudStack是一种多租户的Java工具,支持多种hypervisors,包括XenServer.KVM.Hyper-V以及vSphere.它对软件集成以及基于Web的界面提供

企业应该如何在大数据基础架构方面做出选择?

如果询问十家公司他们为了运行大数据负载需要使用怎样的基础架构,那么可能会得到十种不同的答案.现在这个领域当中几乎没有可以遵循的原则,甚至没有可以参考的最佳实践. 不管是从资源还是从专业性方面来说,大数据分析已经成为基础架构领域当中真正的难题.顾名思义,大数据分析工具所针对的数据集合,规模将会非常庞大,并且需要大量的计算.存储和网络资源来满足性能需求.但是这些大数据工具通常是由超大规模企业开发的,这些企业并不存在普通企业需要考虑的同等级安全问题和高可用性问题,而主流IT企业还没有深入了解这些工具,

基于私有云服务的水资源管理系统的基础架构设计

基于私有云服务的水资源管理系统的基础架构设计 杨汝洁,杨云江 针对传统水资源管理系统对水利.水库数据利用不充分,各地的数据库分散并且不规范,很难进行统一管理和调度的问题,云计算无疑给出了更好的解决方法.本文提出了基于私有云服务的水资源管理系统的基础架构,并根据此架构搭建了基于私有云服务的水资源管理系统的实验平台. 基于私有云服务的水资源管理系统的基础架构设计

重磅!中移动牵头提出基于服务的架构 成为5G网络统一基础架构

在近期杭州结束的国际移动通信标准组织3GPP专业会议上,3GPP正式确认5G核心网采用中国移动牵头并联合26家公司提出的SBA架构(Service-based architecture基于服务的网络架构)作为统一基础架构,意味着5G网络真正走向开放化.服务化.软件化方向,有利于实现5G与垂直行业融合发展.5G网络采用SBA新型架构还是传统网络"点到点"的架构,是近半年来标准化讨论的热点.3GPP将SBA确定为5G网络唯一基础架构,是5G系统架构标准化立项以来的重要进展.基于服务的网络架