Precog:大数据分析即服务

近日,Precog宣布了他们的大数据仓储和分析服务,该服务负责处理数据的抓取、变换分析和可视化等过程,以及服务运行所基于的基础架构。不过,这一服务也通过RESTful API预留了各种开放的访问点,支持开发者和数据科学家控制整个过程。

Precog可以从各种数据源抓取输入数据,其中包括SQL数据库、Amazon S3、Hadoop、MongoDB、客户端Web应用和后端服务器等。RESTful API支持开发者从外部源(如Twitter或Facebook)、CSV文件或移动设备抓取数据。抓取的数据保存到一个叫做PrecogDB的定制数据库中,而且我们还可以使用人群统计、态度、位置和其他信息使数据更为丰富。

之后,数据可以通过多种手段加以分析,比如通过一个API,或是利用客户库(JavaScript,PHP),或者使用Labcoat(一种支持使用Quirrel这种声明式查询语言进行数据分析的IDE)。开发者可以创建自己的数据抓取、强化和分析模块,甚至可以将这些模块拿到市场上销售。

Precog能够将整个过程运行在不同的云供应商之上——如Amazon EC2和SoftLayer——以便增加系统的弹性和正常运行时间。

在InfoQ进行的一次采访中,Precog的CEO和创始人John A. De Goes解释到:

“(系统的)架构与数据库分析有些相似,比如都包括面向列的存储;但是其区别在于,前者支持完全异构的、非规范化的数据,通过对Quirrel的支持,相对于使用RDBMS进行分析,使用这种类似于“面向大数据的R”的语言,你能够很方便地执行很多更为高级的计算。”

PrecogDB是该平台的核心,它是一种用Scala编写的、面向列的数据库,运行在JVM上,它也为数据捕获和分析进行了优化。据De Goes介绍,PrecogDB中可以保存“测量数据,如点击、购买、尺寸、Twitter数据,或是收集自其他各种活动的日志信息”。他还补充道,“Precog尚不能存储大块的非结构化数据,尽管在生物信息学和其他一些领域的应用的确有这种需求。不过这一功能已经在我们的路线图上了。”

至于Quirrel——这种由Precog实现的统计查询语言,De Goes谈到:“Quirrel很多方面都与R编程语言比较相似。像R一样,Quirrel也是为高级的分析与统计而设计的。但与R不同的是,Quirrel并非图灵完备的语言,它是纯声明式的,利用它更容易高效地在大规模集群的机器中分发Quirrel查询(这也使Quirrel比R更容易学习)。”

PrecogDB有一些“用于常见的分析与统计计算的内置例程”,它还提供了一个“细粒度的、基于能力的安全模型,支持来自移动设备或Web的应用程序通过RESTAPI直接访问其功能”。

译者 臧秀涛 查看英文原文:Precog: Big Data Analytics as a Service

(责任编辑:蒙遗善)

时间: 2024-10-12 15:00:07

Precog:大数据分析即服务的相关文章

大数据分析云服务GoodData获Intel Capital领投E轮融资

摘要: 大数据分析SaaS服务GoodData刚刚获得E轮融资2750万美金,Intel Capital领投,此前投资方Andreessen Horowitz.General Catalyst.Tenaya Capital.TOTVS.Next World Capital.Windcrest和Pharus Capital亦有跟投.至今 大数据分析SaaS服务GoodData刚刚获得E轮融资2750万美金,Intel Capital领投,此前投资方Andreessen Horowitz.Gener

大数据分析专题:利用向外扩展技术深入挖掘商业价值(1)

  方方面面的发展改进已经让从半结构化数据中获取有价值信息成为可能.以Hadoop为代表的新型解决方案在构建层面就充分考虑到了要如何适应跨商用服务器集群的分布式运行环境. 大数据:以需求为导向的审视角度 新型分析工具与极大丰富的处理能力为我们敞开了一道大门,如今企业已经能够借此对庞大的业务及外部数据加以审视并获取有价值结论. 作者:DAVID S. LINTHICUM 从数据池当中挖掘有价值信息,从而实现知识提升的能力早已不算什么新鲜事.事实上,早在一个多世纪以前,这样的处理方式就已经成为科学与

大数据分析技术生态圈一览

大数据领域让人晕头转向.为了帮助你,我们决定制作这份厂商图标和目录.它并不是全面列出了这个领域的每家厂商,而是深入探讨大数据分析技术领域.我们希望这份资料新颖.实用. 这是一款面向Hadoop的自助服务式.无数据库模式的大数据分析应用软件. Platfora 这是一款大数据发现和分析平台. Qlikview 这是一款引导分析平台. Sisense 这是一款商业智能软件,专门处理复杂数据的商业智能解决方案. Sqream 这是一款快速.可扩展的大数据分析SQL数据库. Splunk 这是一款运维智

为什么赢得政治选举与大数据分析联系在一起?

两大政治党派如何利用大数据分析来帮助他们做出决定并且尝试领先竞争对手,是今年的总统大选的主要情节之一.但你们可能没有意识到的是,大数据在决定选票变化上已经变得多么普遍.这里我们就深度剖析一下两个在行业内领先的数据分析公司如何利用大数据分析帮助他们支持的政党来取得胜利. 在过去的两个总统大选中,有人认为奥巴马竞选团队有效利用大数据分析的能力就是他赢得其他对手的其中一个原因.但是今年像奥巴马那种优势几乎已经不会存在了,TargetSmart的首席执行官Tom Bonier说,值得一提的是,Targe

法国大数据分析服务初创公司 Dataiku 获1400 万美元 A 轮融资

  本周三(10 月 26 日),法国初创公司Dataiku 宣布获得了一笔 1400 万美元的 A 轮融资,领投方是纽约知名风投FirstMark Capital. Dataiku 公司成立于 2013 年,总部位于法国巴黎,他们为企业客户提供了一个基于云技术的数据服务平台,让数据专家和没有工程背景的员工轻松访问.收集海量数据.该公司的目标,是让企业从难以理解的大数据世界里脱身,更简单.直观地获得数据分析结果. Dataiku 公司联合创始人兼首席执行官Florian Douetteau 表示

政务服务将推大数据分析 预判公众需求

国务院近日印发<关于加快推进"互联网+政务服务"工作的指导意见>(下称<指导意见>),其中明确除了与居民户籍户政.社会保障,与企业注册登记.变更注销等密切相关的服务事项将统一标准从网上办理以外,还将开展政务大数据分析,把握和预判公众办事需求. 目前部分地方搭建了一体化网上政务服务平台,但依然存在服务事项不全.和实体政务大厅业务脱节.同一行政区内办理同一事项的标准不同等等问题.为此,<指导意见>中明确,到2017年底,各省(区.市)人民政府.国务院有关

思科CTO:安全、大数据分析服务必将获得渠道伙伴的青睐

物联网是一个巨大的市场商机.能够提供安全技术.大数据分析服务技术这些解决方案的提供商,具有挖掘物联网巨大潜力的能力,他们将扮演至关重要的角色. 拥市值10亿美元的解决方案供应商ePlus,本周在美国芝加哥召开全国销售誓师大会.思科系统公司首席战略和技术官Padmasree Warrior周二在大会一个主题演讲里表示,ePlus在利用物联网业务方面具有特殊的优势. 根据思科的看法,未来十年事关各种非电脑物体之间的网络连接,这些非电脑物体利用传感器不断地收集数据,并将其馈送到中央存储库.Warrio

运用大数据分析开展主动服务

日前,中国电信湖北公司以10000号客户接触数据为基础,通过对客户消费行为.通信使用行为.手机上网行为等特征数据进行挖掘,运用大数据分析找到客户需求与行为的内在关联性,并将关键时刻按场景化应用制定服务策略开展主动服务,培育客户自助服务习惯.目前接受过湖北电信主动服务引导的客户,其自助服务次数达每人4.3 次,比未接受引导的客户高59.3%. 积分提醒服务,引导客户自助兑换 通过客户接触数据分析发现,客户常常忘记兑换积分,导致积分清零浪费,或不清楚兑换渠道.兑换方法,只能拨打10000号人工咨询.

湖北电信运用大数据分析开展主动服务

湖北电信以10000客户接触数据为基础,通过对客户消费行为.通信使用行为.手机上网行为特征的挖掘,找到客户需求与行为的内在关联性,制定场景化的服务策略,引导客户使用自助服务. 湖北电信通过对客户接触数据的分析发现,客户常常忘记兑换积分,或不清楚兑换渠道.兑换方法,导致积分浪费.2014年起,湖北电信客服中心在每年第四季度开展主动服务,提示客户积分到期时间.积分数额.兑换渠道等,引导客户利用自助渠道及时兑换积分.2014年共为客户兑换积分约80万笔,兑换话费近2000万元,2015年共为客户兑换积