盘点大数据商业智能的十大戒律

如今,各路企业和组织都不再使用上一代架构来存储大数据。既然如此,为什么还要使用上一代商业智能(BI)工具来进行大数据分析呢?在为企业选择BI工具时,应该遵守以下“十诫”。

第一诫:不要转移大数据

转移大数据代价高昂:毕竟,大数据很“大”,如果打包转移,负担太重。不要将数据提取出来,做成数据集市和数据立方,因为“提取”就意味着转移,会在维护、网络性能附加处理器方面造成纷乱庞杂的问题,出现两个逻辑上相同的备份。让BI深入更底层运行数据就是大数据萌发的最初动力。

第二诫:不要偷盗!或者说不要违反企业安全政策

安全并非可有可无。不幸的是,数据泄露事件频繁发生,这表明实现安全并非易事。要选择能够利用现有安全模型的BI工具。依靠Ranger、Sentry、Knox等综合性安全系统,大数据可以使实现数据安全变得更加容易,现在就连Mongo数据库都有了令人惊叹的安全架构。所有那些模型都允许你插入权限、将用户信息一路传播到应用层、实施可视化的授权和提供与该授权相关的数据志。记住了,安全即服务。

第三诫:不要按照用户数和数据量付费

大数据的一个主要好处在于,如果做好了,它就能实现极高的性价比。把5PB数据存储到Oracle可能会让你倾家荡产,但存储到大数据系统则不会。尽管如此,在付钱购买之前,应该警惕某些价格陷阱。有些BI应用按照数据量或者索引数据量向用户收费。千万当心!数据量和大数据使用量出现指数式增长是再平常不过的事情,我们的客户曾目睹其访问量在短短几个月时间里从数百亿次猛增到数千亿次,用户数扩大50倍。这是大数据系统的另一个好处:渐进式可扩展性。不要被低价所迷惑,去购买一种会对企业增长征收“高税”的BI工具。

第四诫:要贪大胆借鉴别人的可视图

分享静态图表?这些我们已经做过了,无论是PDF文档、PNG图片还是电邮附件里,到处都在传播静态图表。但对于大数据和BI,静态图表还远远不够:你拥有的一切无非都是些漂亮的图片罢了。你应该让任何人都能够随心所欲地与你的数据进行交互。应该把可视化看作是驾驭数据的交互式路线图。为什么要闭门造车呢?将交互式可视化手段公之于众只是第一步。看看Github的模式就知道。与其说“这是我的最终发布产品”,不如说“这是一幅可视图,复制下来,分解它,我就是从中得到那些见解,看看它还能用于其他哪些领域”。这会其他人从你的见解中学到有用的东西。

第五诫:要分析天然形态的数据

大数据是“非结构化”的,这样的说法我们已经听过太多太多。其实不然。财务和传感器会产生大量的键值对。JSON(可能是当下最流行的数据格式)可以是半结构化、多结构化等等,Mongo数据库对这种数据格式下了重注。JSON具有好处理和可规模化的优点,但如果把它转换成表格,表达力就会丢失。很多大数据仍然被制成表格,通常拥有数千栏。你不得不为所有的值寻找关系:“在那种情况下……从这里选择这个”。扁平化会毁掉原始结构中所表达的重要关系。远离那些对你说“请把数据转换成表格,因为我们一直都这么干”的BI解决方案。

第六诫:不要无限期地等待结果

在2016年,我们预计数据处理速度将会变得快起来。一个典型方法是联机分析处理(OLAP)立方,本质上就是把数据转移到预计算缓存,从而加快处理速度。问题在于,你必须提取和转移数据(请看第一诫),以便建造数据立方,然后才能加快速度。现在,这种方法能够在一定的数据规模下良好运转,但如果临时表格过于庞大,你的笔记本电脑在试图将表格本地化的时候就会崩溃。当你提取新数据重建缓存时,新数据的分析就会中途停下来。此外还要注意样本问题,你可能会得到一个看起来不错、效果很好的可视图,但最后却发现全不对路,而问题就出在缺少大局观。要选择那些能便捷地不断调整数据的BI工具。

第七诫:不要制作报告,而要打造应用

在很长一段时间里,“获得数据”意味着获得报告。在大数据时代,BI用户希望从多个来源获得异步数据,这样他们就不需要刷新任何东西,就好像浏览器和移动设备上运行的其他各种东西。用户希望和可视元素进行交互,得到他们正在寻找的答案,而不是对你已经提供给他们的结果进行交叉过滤。Rails等框架使打造Web应用变得更加简单。为什么不对BI应用做同样的事情呢?没理由不对这些应用、应用程序接口(API)、模板、可重用性等等采取类似的做法。现在是时候通过现代Web应用开发的透镜来看待BI。

第八诫:要利用智能工具

在提供基于数据的可视图方面,BI工具已经证明了自己的能力。现在则轮到在模型和缓存的自动维护上下功夫,这样一来,终端用户就不必操这个心了。在庞大的数据规模下,自动维护几乎是不可或缺的,我们可以从用户和数据与可视图的交互中获得大量信息,现代工具应该使用这些信息来对数据网络效应加以利用。另外,要选择那些内置全面搜索能力的工具,因为我曾见过有些客户拥有成千上万的可视图。你需要一种迅速查找的方法,在网络的长年熏陶之下,我们已经习惯了搜索,而不是翻找菜单。

第九诫:要超越基本范畴

如今的大数据系统因为预测分析能力而著称。相关性、预测和其他功能使企业用户比以往任何时候都能更便捷地进行高级分析。不需要编程经验就能处理大数据的可视化技术让分析师如有神助,超越了基本分析的范畴。为了实现其真正的潜力,大数据不应该依赖于每个人都变成R预言程序员。人类非常善于处理可视化信息,我们必须更加努力地将可视化信息呈现在人们眼前。

第十诫:不要只是站在数据湖边,等着数据科学家来干活儿

不管你是把大数据当成数据湖还是企业数据中心,Hadoop已经改变了数据的处理速度和存储成本,我们每天都在创造更多的数据。但在真正利用大数据为企业用户服务方面,常常存在一种“只写系统”——创造数据的人很多,但利用数据的人却很少。

其实,用Hadoop里的数据可以为企业用户解答数不清的问题。BI讲究的是打造数据可视化应用,为日常决策提供支持。企业里的每个人都希望做出数据驱动的决策。把大数据能够解答的所有问题局限于需要数据科学家来处理的问题,这是奇耻大辱。

原文发布时间为:2017年5月23日

时间: 2024-09-15 08:23:50

盘点大数据商业智能的十大戒律的相关文章

大数据商业智能的十大戒律

用Hadoop里的数据可以为企业用户解答数不清的问题.BI讲究的是打造数据可视化应用,为日常决策提供支持.企业里的每个人都希望做出数据驱动的决策.把大数据能够解答的所有问题局限于需要数据科学家来处理的问题,这是奇耻大辱. 如今,各路企业和组织都不再使用上一代架构来存储大数据.既然如此,为什么还要使用上一代商业智能(BI)工具来进行大数据分析呢?在为企业选择BI工具时,应该遵守以下"十诫". 微信图片_20170504164610 第一诫:不要转移大数据 转移大数据代价高昂:毕竟,大数据

2017年大数据领域的十大趋势

文章讲的是2017年大数据领域的十大趋势,曾有媒体将2013年称为"大数据元年",经过两三年大数据依然热度不减,但是也有专家认为前几年大数据一直处于一个很尴尬的局面,大数据不接地气,人人都在谈大数据,但真正应用大数据的人很少.2016年,各行各业的大数据应用都渐渐从空洞的理论落地,所以很多专家认为2016年才是真正意义上的大数据元年. 无论如何,大数据已经成为IT领域的流行趋势.据不完全统计,2016年1-6月,全球大数据行业共计发生157起投融资事件,涉及金额超过600亿元,亚马逊.

全国首部《大数据蓝皮书》指出:中国大数据发展呈现十大新趋势

大数据战略重点实验室研究编著.社会科学文献出版社出版的<大数据蓝皮书:中国大数据发展报告No.1>(简称<大数据蓝皮书>)5月28日正式发布.作为全国首部<大数据蓝皮书>,从制度.技术.产业和学科建设等层面对大数据的发展进行分析与研判,并提出中国大数据发展的十大新趋势. 趋势之一:丰富细致的政策体系助推大数据落地.从中央到地方,更加丰富的配套政策与实施细则将促进大数据加快落地,更多地方政府积极推进大数据发展,并在大数据政用.商用.民用领域打造大数据应用的典范. 趋势之二

IDC周震刚:中国大数据市场的十大预测

2012年7月24日,主题为"芯动大数据 智领大机遇"的英特尔大数据论坛在北京举行.会上,IDC中国企业级系统与软件研究部高级研究经理周震刚分享了大数据市场的观察. IDC中国企业级系统与软件研究部高级研究经理周震刚 周震刚表示,IDC一直把大数据.云和移动以及社交这四个主题当做未来IT的主要方向.IDC在大数据方面已经做了大概三四年的研究,IDC中国从去年开始对大数据市场做了深入研究. 什么是大数据?--四个"V" 周震刚介绍道,IDC对大数据的定义是四个&quo

大数据营销的十大切入点

2013年似乎人人都在谈论大数据,然而说得云里雾里者多.许多企业家更关心的事是:如何才能真正找到大数据营销的切入点? 大数据营销的十大切入点 许多人感觉到大数据时代正在到来,但往往只是一种朦胧的感觉,对于其真正对营销带来的威力可以用一个时髦的词来形容--不明觉厉.实际上,还是应尽量弄明白,才会明白其厉害之处.对于多数企业而言,大数据营销的主要价值源于以下几个方面. 第一,用户行为与特征分析.显然,只要积累足够的用户数据,就能分析出用户的喜好与购买习惯,甚至做到"比用户更了解用户自己".

2017年大数据发展的十大趋势以及在各行业的应用潜力

2016年,大数据已从前两年的预期膨胀阶段.炒作阶段转入理性发展阶段.落地应用阶段.2017年,大数据依然处于理性发展期,依然存在诸多挑战,但前景依然非常乐观.2017年大数据的发展呈现十大趋势: 趋势1:越来越多的企业实现数据孤岛的打通,驱动大数据发挥更强的威力 企业启动大数据最重要的挑战是数据的碎片化.在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不通,导致企业内部数据无法打通.若不打通,大数据的价值则难以挖掘.大数据需要不

大数据思维的十大核心原理

大数据思维是客观存在,大数据思维是新的思维观.用大数据思维方式思考问题,解决问题是当下企业潮流.大数据思维开启了一次重大的时代转型. 大数据思维原理是什么?笔者概括为10项原理. 一.数据核心原理 从"流程"核心转变为"数据"核心 大数据时代,计算模式也发生了转变,从"流程"核心转变为"数据"核心.Hadoop体系的分布式计算框架已经是"数据"为核心的范式.非结构化数据及分析需求,将改变IT系统的升级方式:

盘点管理大数据存储的十大技巧

在1990年,每一台应用服务器都倾向拥有直连式系统(DAS).SAN的构建则是为了更大的规模和更高的效率提供共享的池存储.Hadoop已经逆转了这一趋势回归DAS.每一个Hadoop集群都拥有自身的--虽然是横向扩展型--直连式存储,这有助于Hadoop管理数据本地化,但也放弃了共享存储的规模和效率.如果你拥有多个实例或Hadoop发行版,那么你就将得到多个横向扩展的存储集群. 而我们所遇到的最大挑战是平衡数据本地化与规模效率,这是一个鱼与熊掌兼得的话题. 数据本地化是为了确保大数据集存储在计算

贵阳打造创新型中心城市 大数据引领打造十大工程

<中共贵阳市委关于以大数据为引领加快打造创新型中心城市的意见>提出四大配套文件,其中<以大数据为引领打造创新型中心城市的十大重点工程>提出要打造数据资源汇聚工程,数据共享开放工程,数据铁笼工程,数据政务工程,数据民生工程,数据扶贫工程,数据产业集聚工程,大数据助推产业升级工程,数据金融工程,以及数据立法.安全与标准工程十大工程. 其中提出,贵阳市将建设"云上贵州·贵阳平台",搭建统一汇聚全市各部门政务数据和公共数据的贵阳市政务数据资源中心,同时大力引导和鼓励其他