本文讲的是如何让云计算与企业大数据强强联手,大数据是高性能计算领域最热门的趋势。大数据往往是非结构化的大规模数据,这些庞大的数据集中蕴含着对企业极具价值的情报信息。而云计算在过去几年一直是IT世界的宠儿,因为云计算开创了计算作为服务的新时代,尽管人们对于云计算的安全、可用性和成本仍然存在疑虑。
大数据的规模似乎能够成为云计算有趣的合作伙伴。大规模数据的管理存在很高的复杂性,正因为如此,大数据分析通常在本地服务器集群中进行。而云计算的优势在于尽可能有效地优化现有资源。如果部署得当,你没有理由不结合大数据和云计算的优势。
通过业务分析在云环境挖掘大数据的价值并不会很麻烦,但是也有一些具体的策略来确保你的企业具有最佳效率。为了让企业在访问、分析和改善其业务操作方面处于领先位置,大数据和云环境都必须满足一定条件。
首先,让我们看看你的大数据业务分析工具必须具备的三个能力:
1. 使用能够本地连接到所有主要大数据来源(例如Hadoop和NoSQL存储)的业务分析工具。
2. 管理能力: 确保业务分析工具能够有效地管理和协调大数据任务以及传统IT任务
3. 整合能力: 用于分析的数据很少是来自单一来源。业务分析工具必须具备很好的数据整合能力,需要能够有效地整合传统关系型数据库和非传统大数据存储间的数据,例如Hadoop和NoSQL数据库。
大数据业务分析对云环境的要求也同样重要。云环境的主要优势在于具有弹性,根据需要付费,不需要管理企业内部硬件。例如,一家媒体公司在正常情况下,使用其自有的50台专用服务器集群就能够满足其数据处理需求。然而,在超级杯或世界杯期间,需要被处理的数据量可能会增加8到10倍,所以他们通过在公共云临时增加另外200台服务器来满足其需求。以下是你的大数据分析工具成功地在云环境运行应该具备的三个条件:
1. 与云供应商无关: 找到一种能够在任何云服务(公共云或私有云)运行的分析工具
2. 弹性: 确保能够在高峰负荷时期快速方便地添加任何计算资源,并在正常情况下减少资源以降低成本
3. 数据通信带宽: 确保你部署了数据通信管道以有效地将原始大数据移动到云环境。可能你的大数据资源(例如web日志)已经位于云环境中,在这种情况下,你只需要简单地将大数据文件从一个云供应商复制到另一个云供应商即可。
总之,如果部署得当的话,大数据和云环境的结合绝对是强强联手。
原文发布时间为:2012-03-31
本文作者: 刘亚琼