论各类BI工具的“大数据”特性

市面上的BI工具形形色色,功能性能包装得十分亮丽,但实际应用中我们往往更关注的是朴实的技术特性和解决方案。对于大数据,未来的应用趋势不可抵挡,很多企业也正存在大数据分析处理展现的需求,以下我们列举市面上主流的三款BI系统,就“大数据”特性展开探讨,主要是与hadoop、Spark、多维分析数据库的对接和性能。

Tableau 的大数据策略

1、目前,Tableau适用的大数据生态系统连接包括:

Hadoop:Cloudera Impala 和 Hive、Hortonworks Hive、MapR Hive、支持 Impala 和 Hive 的Amazon EMR、Pivotal HAWQ、IBM BigInsights

NoSQL:MarkLogic、Datastax

Spark:Apache Spark SQL

多维分析数据库: Teradata Aster、HP Vertica、SAP Hana、SAP Sybase、Pivotal Greenplum

大数据

2、Tableau 可实时连接到数据源,或将其调入内存。在快速交互式查询分析时,实时连接作用很大。但由于内存式分析,对硬件要求较高,数据量较大时效率会比较低。

3、面向业务用户的大数据自助式可视化。业务用户可使用拖放操作可视化其数据,而无需编写复杂的SQL、Java代码或 MapReduce作业。Tableau简化了分析数据的任务,用户可比以前更快地从数据中发现形象可见的见解。

FineBI 的双套大数据方案

1、 FineBI 支持的大数据生态系统连接包括

大数据平台:Vertica、GreenPlum、Apache Kylin、Impala/hive、hive、星环,

NO SQL数据库:MongoDB

多维分析数据库:Teradata、SAP Hana、Greenplum、SAP Sybase、Essbase、SSAS

2、FineBI支持FineIndex和FineDirect两种数据连接和处理模式,应对的是不同的数据方案。

FineDirect应对的是一些需要实施展现结果,比如银行交易风险的流水分析,直接对接hadoop,kylin,greenplum等大数据平台。

FineIndex采用cube连,也就是说数据库-FineIndex-前端分析,FineIndex相当于一个中间库的形式,用来存储数据表,关联转义索引等。这些都对后续前台分析处理数据效率有很大的提升(因为直接sql取数,效率受数据库本身的限制,数据量大时,一般分析工具很容易就卡死升职内存溢出导致系统无响应)

3、用于执行跨数据源分析的数据混合。FineBI可以将大数据和其他数据源(如MySQL、Excel 文件等)混合,让用户能够跨越各种数据源存取数据,并整合到一个库内(FineIndex)。

  Qlikview

1、Qlikview也是基于内存的BI,能实时响应用户的分析需求,与Tableau相似,性能大多决定于数据库。能直接从用户的业务系统中采集数据并进行多维分析,剔除了传统BI基于数据仓库(集市)才能实施的弊病。(作者从网上和其资料库中并没有查到太多关于大数据方面的阐述,官方也并没有这方面的可以宣传)。

2、QlikView的核心是一个获得专利的AQL构架。在分析时不需要传统OLAP立方体,也不一定要使用数据库,完全利用了基础硬件平台,来对上亿的数据进行业务分析。QlikView应用使各种各样的终端用户以一个高度可视化,功能强大和创造性的方式,互动分析重要业务信息。

本文转自d1net(转载)

时间: 2024-11-03 01:25:58

论各类BI工具的“大数据”特性的相关文章

SQL Server 2012全力打造大数据特性

本文讲的是SQL Server 2012全力打造大数据特性,同其他IT厂商一样,微软公司也做好了全面进军"大数据"领域的准备,而即将发布的SQL Server 2012将成为微软大数据战略的支点.最新的数据库平台将提供一系列的大数据功能,其中包括Apache Hadoop连接器.开源分布式计算架构,能够存储并处理海量的结构化与非结构化数据. 为了让用户对于SQL Server 2012的大数据功能有一个更直观的了解,记者采访微软数据库平台专家Mark Kromer,让他来谈一谈SQL

当Hadoop SQL工具与大数据框架携手同行

目前,SQL-on-Hadoop的采用率仍然偏低,但是其发展似乎是与Hadoop本身的采用有着相似的步调.2015年由IT研究和教育机构TDWI进行的一项对新兴技术的调查证实了这一结论. 在320位受访者中只有16%的人表示他们所在的企业正在使用商业SQL-on-Hadoop引擎作为商业智能或分析应用程序的一部分: 344位受访者中有22%的人说Hadoop SQL技术正用于管理数据.在后一种情况中,部署水平与前一种是接近的,而这也符合调查当时以及计划三年内的情况,这表明大多数Hadoop用户同

十款卓越工具助力大数据与分析技术

考虑到现有技术解决方案的复杂性与多样化,企业往往很难找到适合自己的大数据收集与分析工具.然而,混乱的时局之下已经有多种方案脱颖而出,证明其能够帮助大家切实完成大数据分析类工作. 数据已经成为现代化企业中最为重要的宝贵资源.一切决策.策略或者方法都需要依托于对数据的分析方可实现.随着"大数据分析"逐步替代其上代版本,即"商务智能",企业正面临着一个更加复杂.且商业情报规模更为庞大的新时代. 考虑到现有技术解决方案的复杂性与多样化,企业往往很难找到适合自己的大数据收集与

马云要“抓小偷”,不过用的工具叫“大数据”

马云在湖畔大学上完课,又来教公安干警怎么抓小偷了. 中国在数据方面的能力是全球同行中几乎无可比拟的,而在当今社会,如果没有分析其公民信息的能力,政法体系就很难正常并且有效运行下去--这就是就在不久前,马云发表的一次<科技创新在未来社会治理中的作用>主题演讲内容. 在这次面对政法干警的主题演讲中,马云强调了云计算.大数据以及人工智能在执法司法方面的应用和作用.而他反复强调的一点,就是在这个数据时代做到"事前诸葛",要有预防机制. 图片来源:Forbes 演讲中,他以一段生动的

先进的分析工具从大数据中提取业务价值

大数据环境下,基于Hadoop和Spark等技术的部署更加广泛,先进的分析工具可以帮助企业更加有效地利用数据. 在许多情况下,部署先进的分析软件来支持大数据应用程序这件事并不能一蹴而就.作为零售商大数据分析计划的一部分,Macy百货使用多个工具来满足不同的应用需求.技术名单包括统计分析.预测建模和机器学习工具."我们拥有海量的数据,只是没有合适的分析方法,"公司的市场分析和客户关系管理系统总监Seetha Chakrapany说道. 除了Macy之外,Progressive Casua

C#如何开发ETL数据同步工具,大数据同步如何解决

问题描述 现在公司要开发全面软件预算系统,要涉及大量的和其它系统的数据同步操作,原来一直用Kettle开源的ETL做数据同步但用起来不是很稳定,现想用C#开发一个桌面程序用来同步数据假如设想以下办法1.用Ado.net将来源服务器数据查到DataTable中再用SqlBulkCopy一次性导入到目标服务器中优点:只要DataTable能撑住就可以实现,但不知道稳不稳定缺点:数据存储量应该有限制这种应该是存在内存上的对吧100W条记录估计要来回查询N次2.用用Ado.net的DataReader一

超越咨询顾问的算力,在 BI:大数据改变管理咨询

消费品企业应该如何使用内部产生以及外部采集的数据,像互联网公司一样建立用户画像与会员体系,以数据驱动的方式进行精细化的生产.运营和销售? 传统的管理咨询公司,虽然有无数顶尖的大脑,但是他们的大脑只靠 Excel 等简单工具的辅助,这样的算力,能不能满足上述的需求? 在 2015年 上半年,数据冰山团队有幸为国内一家时尚消费品行业的龙头公司进行数据平台的建设,历时半年,完成了内部数据的打通和洞察,用户画像,会员体系的搭建,以及外部数据获取与跟踪.在这里和大家分享我们的一些体会,希望更多的消费品企业

大数据,为什么不是传统BI的简单升级?

BI(BusinessIntelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策. 大数据(Big Data),指在可承受的时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力来适应海量.高增长率和多样化的信息资产. 不管定义如何不同,大数据与传统BI是社会发展到不同阶段的产物,大数据对于传统BI,既有继承,也有发展,从"道&

从概念到应用 一站式区分大数据和BI

大数据和BI之间的关系很密切,在大数据时代中,对于数据的挖掘.处理基本上是以传统BI业务模式进行的,但大数据的数据来源要比传统BI的数据来源更具多样性.本文将从概念.应用.发展趋势等多个角度对大数据和BI进行区分. IT行业的新鲜词层出不穷,最近几年,大家都在谈论大数据和BI,似乎不谈这些词都不好意思说自己是"圈内人".虽然每天张口闭口都在说大数据和BI,可是你真的明白大数据和BI之间的区别了吗? 大数据和BI之间的关系很密切,在大数据时代中,对于数据的挖掘.处理基本上是以传统BI业务