大数据分析项目需要考虑的注意事项

“大数据”已成为时下人们最为津津乐道的流行语。同时流行的术语还包括:商业智能(BI)、分析和数据管理市场。越来越多的企业正在寻找商务智能和分析供应商,以帮助他们解决在大数据环境下的业务问题。

那么,到底什么是大的数据呢?最近,IT出版物eWeek提出了如下的看法,部分是基于Gartner公司的术语进行定义的:“大数据涉及到结构化和非结构化数据的数量、种类和速度,通过网络在处理器和存储设备之间传输,并为企业的相关业务提供相关数据业务咨询。”

这一描述切中了数据管理和分析的部分,但却忽略了围绕着大数据的业务挑战这一基本面:复杂性。例如,大数据的安装往往涉及信息——包括社交媒体网络、电子邮件、传感器、网络活动日志和其他数据源,这些都不能简单的融入到传统的数据仓库系统。

而在许多情况下,需要把所有这些不同的数据放在一起,以在更广泛的层面上使得它们具有意义。可能会给业务规则以及大数据分析系统的其他组成部分带来很大的影响。当涉及到数据存储和查询管理,大数据的复杂性使得其与传统数据更加显得不同,这便是分析数据库和数据分析软件厂商都不得不以加强了他们的产品,以帮助企业应对大数据的主要原因。

对大数据的理解是评估你的技术需求和制定大数据分析计划的第一步。其次是了解市场和当前的趋势,以及您的企业希望从越来越大的和多样化的数据集中获得的商业价值和竞争优势。

大数据分析项目的大议程

许多企业一直都有庞大的数据集。但现在,越来越多的企业存储的数据已经是TB级的,而不再是PB级的了。此外,他们正在寻找每日多次分析关键数据,甚至是实时的分析,改变传统的每周或每月进行BI历史数据审查的过程。他们要处理更多和更复杂的查询,这涉及各种不同的数据集。这可能包括企业资源规划和客户关系管理系统,再加上社会媒体和地理空间数据,内部文件和其他形式的数据交易信息。越来越多的企业也希望被赋予企业用户的BI自助服务功能,使他们更容易了解分析结果。

所有这一切都可以发挥到一个大数据分析策略中,技术供应商解决这些需要以不同的方式。许多数据库和数据仓库供应商关注的重点是能够及时处理大量复杂数据。有些使用柱状数据存储,努力实现更快的查询性能,或提供内置查询优化器,或加入支持如Hadoop和MapReduce等开源技术支持等。

内存中的分析工具可以帮助加速分析过程,通过减少从磁盘驱动器传输数据的需要。而数据虚拟化软件和其他实时数据集成技术可以用来组装来自不同数据源的信息。现成的分析应用程序适合经常要处理大数据的垂直市场,比如,电信、金融服务和在线游戏产业。数据可视化工具,可以简化大数据分析的查询结果呈现的过程,更好的服务于企业管理人员和业务经理。

在创建实施计划和完成大数据基础设施的选择之前,适合上述有关数据和分析需求类别的企业首先应该考虑以下的事项和问题:

-所需数据的及时性,因为不是所有的数据库都支持实时数据的可用性。

-相互关联的数据和复杂的业务规则,将需要连接各种数据源。从而对企业绩效、销售机遇、客户行为、风险因素和其他业务指标有一个广泛的认识。

-需要进行分析的历史数据量。如果一个数据源只包含两年的数据信息,但实际需要的是五年的数据,这将如何处理?

-在你的行业,哪些技术供应商具备了大数据分析经验,他们是否具有相关的跟踪记录?

-在企业内,谁负责各种数据,以及这些负责人将如何参与主动的大数据分析?

这些因素并不构成深入的需求计划,但他们可以帮助企业在部署一个很大的数据分析系统和识别技术方面带来一定的支持。

(责任编辑:蒙遗善)

时间: 2024-07-30 07:36:25

大数据分析项目需要考虑的注意事项的相关文章

企业部署大数据分析项目成功的秘诀

本文讲的是企业部署大数据分析项目成功的秘诀,大数据不仅是一个流行话题,更是企业中实实在在存在的需求.许多企业开始着手于大数据分析项目,但在此之前,我们需要一个良好的部署方案以确保最终的结果能够为业务服务.选择合适的技术是规划的第一部分,当企业选择了数据库软件.分析工具以及相关的技术架构之后,我们就可以进行下一步并开发一个真正成功的大数据平台. 当然,我们也没必要过分夸大项目管理进程的作用,成功的大数据分析项目来自于多个方面.在本文中,我们就将介绍五个技巧,企业用户进行平台部署的时候可以作为一定的

五步打造高效的大数据分析项目

大数据不仅是一个流行话题,更是企业中实实在在存在的需求.许多企业开始 着手于大数据分析项目,但在此之前,我们需要一个良好的部署方案以确保最终 的结果能够为业务服务.选择合适的技术是规划的第一部分,当企业选择了数据 库软件.分析工具以及相关的技术架构之后,我们就可以进行下一步并开发一个 真正成功的大数据平台. 当然,我们也没必要过分夸大项目管理进程的作 用,成功的大数据分析项目来自于多个方面.在本文中,我们就将介绍五个技巧 ,企业用户进行平台部署的时候可以作为一定的参考: 只选择你所需要的 数据.

大数据分析项目中的“最差”实践

本文讲的是大数据分析项目中的"最差"实践,大数据分析现在很火.只要你浏览任何IT出版物或者网站,你都能看到商务智能供应商和他们的系统集成合作伙伴推销帮助企业实施和管理大数据分析系统的产品和服务.这些广告和大数据分析的新闻以及供应商匆匆提供的案例研究可能会使你误认为大数据是很容易的事,误认为要成功部署只需要一种特别的技术. 如果它是那么简单就好了.当BI供应商乐呵呵地告诉你他们的客户已经成功部署大数据分析项目时,他们不会告诉你还有那么多失败的案例.大数据分析项目令人失望是有一些潜在原因的

大数据分析项目需要慎重而有力的监管

分析团队的管理者们必须拿捏好指导数据科学家们完成工作,和给予他们能够有效完成工作所需要的空间之间的分寸. Scotiabank, 是一家总部位于多伦多的金融服务企业,企业内的数据科学家们不附属于任何特定的业务部门.相反,他们是一个独立的团队的一部分--正式的名称为决策科学团 队--为银行内的所有部门提供高级分析. 但独立并不意味着脱离: Andrew Storey,银行的决策科学部门的副总裁, 他和其他管理者们都努力确保团队进行的数据分析项目,对于业务战略和运作是有实用价值的,而不是单纯的抽象练

《Spark与Hadoop大数据分析》——1.1 大数据分析以及 Hadoop 和 Spark 在其中承担的角色

1.1 大数据分析以及 Hadoop 和 Spark 在其中承担的角色 传统的数据分析使用关系型数据库管理系统(Relational Database Management System,RDBMS)的数据库来创建数据仓库和数据集市,以便使用商业智能工具进行分析.RDBMS 数据库采用的是写时模式(Schema-on-Write)的方法,而这种方法有许多缺点. 传统数据仓库的设计思想是用于提取.转换和加载(Extract, Transform, and Load,ETL)数据,据此回答与用户需求

《数据科学与大数据分析——数据的发现 分析 可视化与表示》一导读

前 言 数据科学与大数据分析--数据的发现 分析 可视化与表示 大数据可以帮助企业从他们最宝贵的信息资产中挖掘到新的商机,从而创造出新的价值并形成竞争优势.对于企业用户而言,大数据可以帮助提高生产效率.提升产品质量和提供个性化的产品和服务,从而帮助改进客户满意度并提升企业利润率.对于学术界而言,大数据分析提供了一种更加先进的分析手段,可以帮助获取更丰富的分析成果和更深入的洞察力.在许多情况下,大数据分析集合了结构化和非结构化数据的实时获取和查询,开拓了创新和洞察的新路径. 本书将介绍大数据分析中

大数据项目缘何失败?分析模型需要与业务相结合

[TechTarget中国原创] 目前主流的商务智能和分析应用主要关注的是如何从已有数据中提取业务价值,反映公司发展.客户行为和业务趋势.是面向过去的.而一些新兴的数据分析技术已经把目光投向了未来--预测分析.企业通过采用大数据分析技术预测未来可能发生的事情. 但是,预测建模和数据挖掘技术要想准确地预测出客户行为,制定有效的企业战略,需要处理大量的多种类型的数据.医疗保险和医疗保健服务供应商Highmark负责企业信息战略和数据分析的副总裁Mark Pitts表示,要真正落实预测分析,企业需要做

2015年1250亿美元大数据分析市场的6点预测

2015年,全球大数据和分析市场的规模将达到1,250亿美元.国际数据公司(IDC)和国际分析协会(IIA)在不同的网络广播中,都谈到了它们对2015年大数据和分析市场的预测.以下是其中一些要点: 安全软件将成为大数据分析的杀手应用 大数据分析工具将是第一道防线,它结合了机器学习.文本挖掘和本体建模,提供整体及综合性安全威胁预测.检测.阻止和预防程序.(IIA) 物联网(IoT)分析将大热,五年的年均复合增长率为30% 物联网将成为数据/分析服务的下一个重要关注点.(IDC)在物联网潮流侧重于数

大数据项目产品选型的五个建议

ZD至顶网CIO与应用频道 02月14日 北京消息:数据如今对企业来说可谓是头等大事.使用欺诈检测来降低财务风险或是建设推荐系统来改善用户体验,都需要数据来为企业解决这些日益复杂的问题提供支撑. 既然数据已成为企业的重要元素,那我们这几年在数据这个领域都学到了什么?市面上有多种不同的软件模式,包括私有专属软件.云端SAAS软件和开源软件,因此,现在开展大数据分析项目时,开发者.架构师及数据科学家要在众多软件中进行选型,某些软件可能需要昂贵的前期投资或需要投入庞大资源,当然也有一些工具恰到好处,既