大数据项目产品选型的五个建议

ZD至顶网CIO与应用频道 02月14日 北京消息:数据如今对企业来说可谓是头等大事。使用欺诈检测来降低财务风险或是建设推荐系统来改善用户体验,都需要数据来为企业解决这些日益复杂的问题提供支撑。

既然数据已成为企业的重要元素,那我们这几年在数据这个领域都学到了什么?市面上有多种不同的软件模式,包括私有专属软件、云端SAAS软件和开源软件,因此,现在开展大数据分析项目时,开发者、架构师及数据科学家要在众多软件中进行选型,某些软件可能需要昂贵的前期投资或需要投入庞大资源,当然也有一些工具恰到好处,既容易部署又为构建原型(prototype)提供了广泛的支持。

寻找合适的工具对提高项目成功率及避免落入常见陷阱至关重要。以下为在大数据分析项目中进行产品选型的五个建议:

从简单的小规模起步

企业构建数据分析项目常见的最大错误往往是贪大求全。特别是如果项目是从上往下推,执行团队很有可能会被要求构建一套既没有明确成效却又十分复杂的解决方案,造成项目成本高昂且工期很长。

企业不如从规模较小的项目起步,让决策者很快可以看到成效,提升他们对同类项目的信心。利用现代化开源技术,企业不但不用作大量的前期投资,更可以让开发者迅速投入工作,在几天或几周内就能构建出所需的应用程序或是原型。

及早考虑可扩展性

即使只是构建一个框架,也应尽早测试其可扩展性。很多项目之所以失败,全因应用程序在构建时并没有测试其扩展性,也可能是因为其所选技术并不是为处理大数据而设计的。

确保性能测试不是事后的事。先预计在这段时间内将会产生多少数据,并进行测试和评估,构建合适的架构,同时确保当数据量增加并需要横向扩展时,也不会影响业务。

数据的实时性很重要

我们都经历过应用程序或网站没反应或是缓慢的那种痛苦,时至今日,任何不能实时响应的事情我们都不能接受。如果有一个请求没有被及时处理,用户可能很快就会因缺乏耐性而离开该网站或程序,从而导致客户流失及营收下降。

企业要确保所用的软件不但能处理大量数据,还要有能力实时响应这些请求。建议使用具备聚和与地理位置分析功能且能与实时搜索相结合的数据分析软件。

采用灵活的数据模式

现今的系统主要包括结构化和非结构化数据。但不要被那些为结构化图表及数据而设计的关系型数据库所限制。这类数据库很难被加上索引,解析、搜索及分析这些日积月累的大量数据往往很难。

企业应采用具备通用数据结构的软件。很多用于数据分析的软件包括NoSQL数据库及Elasticsearch等均采用JSON作为数据格式,支持文字、数字、字符串、布尔值、数组和哈希等结构化和非结构化数据类型。

挑选开发者易于使用的工具

现今数据流量之多让企业或开发者在应对大数据分析项目时,很难去使用不包含开放API接口的软件。 API接口被用作数据录入、索引及数据分析,这些数据一般来自不同的数据源或是业务系统本身的数据。

企业应提供给开发者一套拥有丰富、开放及资料完整的应用程序API接口,让他们更快速有效地解决问题。久而久之,当项目壮大时,开发者亦能不断创新及改进这套应用程序。

总结

基于以上五点为大数据分析项目挑选最适合的工具,将有助改善项目的价值时间,并确保企业已为长远的成功作好准备。很多如华为、联想、BBC、高盛集团、英国卫报等大企业均已采用这方式,挑选如Elastic Stack这样的开源软件来解决其关键项目。只要方法正确,企业所需的数据分析其实可以很迅速、简单及划算。

原文发布时间为:2017年2月14日

本文作者:Elastic工程师与布道师曾勇(Medcl)

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-09-15 02:45:35

大数据项目产品选型的五个建议的相关文章

大数据项目开发的五个关键点

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   世界正"遨游"在大数据中!随着大数据影响力的增大,涉及大数据的项目正在迅速增加.据最近的调查,几乎三分之一的企业都在投资大数据项目,但是并非所有的投入都得到了回报,因此如何保证大数据项目的成功开发也成了各大企业最关心的问题. 下面小编将为大家介绍保证大数据项目成功开发的五个关键问题. 1.明确大数据项目的目标 大数据项目并不只是收集资料和信息

大数据项目如何落地之路线图探讨

今天,继续来谈一谈"大数据项目如何落地?"这个话题.从事过多个大数据项目的规划方案及项目落地工作,在这里与大家分享一些心得,主要是关于大数据项目如何成功落地并取得预期目标,也可以说这些是实践出来的观点. 对于一个大数据应用项目/产品的落地,可以大致总结为五大步骤阶段: 数据规划.数据治理.数据应用.迭代实施.商业价值.如下图: 大数据项目落地路线图 第一阶段:数据规划 一个成功的大数据项目,需要有一个良好的开端,即做好数据规划阶段的各项工作,具体包括: 战略意图:在这个阶段,要明确战略

纯干货!如何做一个成功的大数据项目

1.失败大数据项目的特征 根据在美国做了15年的大数据项目.产品研发和管理,以及其它一些相关的数据分析的工作经验,了解到的其它的做的比较成功的和失败的项目,跟大家做一个经验分享.基本上大数据项目失败的特征主要是五个: 一是大数据项目与企业战略脱节,完全是领导或者是不知道那个部门的决策人突然脑子一热,就说别人在用,我们也做一个,根本没有把该做的项目和企业的商业战略.科技战略等各个方面结合起来.在项目无法与战略协调,无法在战略的指导下做一款产品或者是服务项目的时候,失败的可能性会非常大. 二是大数据

启动大数据项目之前需要问的5个问题

在关于设备性能,供应商关键绩效指标(KPI)和库存水平的每周报告之间,更多的数据可能是供应链管理者最不愿意处理的事情. 然而,每天有更多的数据不断涌现:根据IBM公司的调查报告,全球每天创造2.5EB字节的数据(即10亿千兆字节).但它并不总是这样.根据IBM公司的计算,世界上90%的数据只是在过去两年创建的,而且报告中显示,企业使用数据可以节省数百万美元,并以前所未有的方式提高工作效率. 当企业预算收紧时,管理人员采用大数据以提高效率,这并不奇怪.毕竟,许多公司花费十多年时间来引进或升级数据处

Gartner警示大数据项目不应独立实施

本文讲的是Gartner警示大数据项目不应独立实施,Gartner提醒组织,不要把大数据看作是一个独立的类别;如果忽视了移动化和桌面计算的差别就很有可能存在风险;企业将数据转为现金很有商机. 谈到下周在西班牙举办的BI分析和主数据管理峰会,Gartner分析师Ted Friedman建议组织:"不要将大数据实施独立开来,要将它归为BI的整体战略中." 在新闻发布会上,Gartner声称:"随着IT组织在过去几年中所做的尝试,尤其是Hadoop DBMS产品设备的出现,应用供应

你造吗?这才是大数据项目成功的7大秘密

文章讲的是你造吗,这才是大数据项目成功的7大秘密,大数据项目的成功有哪些法宝?又有哪些陷阱会导致大数据项目的失败?本文中的三位专家将对此进行详解. 如今,许多企业都理解了大数据的构成,但是要取得大数据项目的成功则是另一回事.Gartner公司的分析师,Doug Laney. Forrester公司分析师Mike Gualtieri.International Institute for Analytics的高级研究学者,Robert Morison 都是大数据领域的专家,他们对于企业如何使用大数

运维专家:我在大数据项目中踩过的那些坑

一.主要讨论人员 提问:陈超,七牛云技术总监 回答:朱冠胤,百度资深大数据专家,连续两次百度最高奖得主. 二.引言 "坐而论道"是一个轮流问答的玩法.本文是大数据主题周中,几位国内一线专家激情问答的一部分内容.期间,各位群友也积极参与. 三.问题集锦 1.MongoDB在百度的使用场景及规模? 2.假设现在让你完全主导一个类似Hadoop的项目,你会选择哪种语言? 3.分享你在百度各种大数据项目中踩过的坑? 4.你所在团队在自研和使用开源方案的主要考虑因素? 5.新一代分布式数据库(N

大数据新机遇 创业投资的五个热门领域

文章讲的是大数据新机遇 创业投资的五个热门领域,从谷歌的GFS和BigTable的两篇论文发表到如今大数据市场的繁荣,又经历了近十年的时间!大数据的快速展得益于互联网的发展,也得益于Apache基金会开源力量的努力,自2005年Hadoop成为Apache项目,Yahoo.Facebook等互联网公司为大数据的发展作出了巨大贡献,也培养了一批大数据技术研发和应用的骨干人才.随着大数据技术的初步成熟,在资本推波助澜下,大数据创业投资异常火爆,孕育出一大批大数据创业企业.五个热门投资领域包括: 1.

分析零距离 数据可视化产品选型指南

文章讲的是分析零距离 数据可视化产品选型指南,大数据的核心不是"大",也不是"数据",而是蕴含在其中的商业价值.作为挖掘数据背后潜在价值的重要手段,商业智能和分析平台成为大数据部署中的关键环节.然而,获取价值的难点并不在于数据分析应用的部署,而在于专业数据分析人才的缺乏.市场研究机构IDC甚至认为,数据分析人才的欠缺可能会成为影响大数据市场发展的重要因素. "让每个人都成为数据分析师"是大数据时代赋予的要求,数据可视化的出现恰恰从侧面缓解了专业数