大数据工具,在数据科学家眼中是怎样的存在?

随着大数据工具数量的增长和计算能力的飞跃,数据科学家越来越多地发现,如果他们想从自己的模型中获得最佳性能,那就必须考虑所使用的数据管道。

数据科学工具的功能通常围绕着预测建模,机器学习和数据可视化。但这些工具还应该包括后端数据管道技术,因为这有助于加快分析的速度。

更强的计算能力

数据科学家们通常喜欢把后端技术扔给工程师来处理。当你的主要关注点是提高模型的预测精度或发现一个数据集中的未知相关性时,文件系统和资源管理工具通常情况下并不十分友好。

但随着大数据工具数量的增长和计算能力的飞跃,数据科学家越来越多地发现,如果他们想从自己的模型中获得最佳性能,那就必须考虑所使用的数据管道。

“有了更强的计算能力,我们可以进行多次回归操作,这很让人兴奋,”Brendan Herger,银行和金融服务公司Capital One的数据科学家表示。“这的确有助于快速发展,因为你有了更多的可用资源,让一切变得容易。”

位于McLean, Va.的Capital One公司支持各种各样的工具,但Herger表示,大部分的分析工作是通过Hadoop分布式文件系统和与其对应的YARN资源管理器完成的。在Hadoop平台之上,他使用H2O.ai提供的机器学习软件做了很多建模。其他数据科学家和数据分析师使用不同的前端数据科学工具,例如GraphLab,Apache Zeppelin和Tableau。据Herger所述,一个强大、灵活的后端系统可以支持大数据集的快速访问,无视前端工具的差异性。

不需要进行数据采样

Herger说,这种后台计算能力让他能够对完整的数据集进行分析,不再需要进行数据采样。他认为是否取样这个问题“几乎类似于一个宗教问题,”分析完整的数据集有几个很大的好处。首先它保留了完整的数据,包括所有可能存在的信号。当数据被划分成多个样本时,信号可能会丢失或变得并不那么明显。

“不进行采样,这样对数据科学家来说是非常有意义的”Herger 说。“计算能力的提升,让人们得以在整个数据集上运行分析,这样的分析将越来越普遍”。

对于San Francisco Macys.com 公司的高级分析主任Daqing Zhao来说,拥有强大的数据架构,为他的团队带来的主要好处就是速度。“我们希望进行快速原型开发,”本月在Boston举行的TDWI Accelerate会议上,Daqing Zhao说道。

赵的团队负责优化Macys.com网站,该网站是Macy ‘ s Inc的零售门户。优化工作范围很广,例如设计变更,进行A / B测试,构建产品推荐引擎,为每个客户提供个性化的推荐等。他的团队使用的主要大数据工具是以Hadoop和Spark系统为基础构建的,它支持一系列分析工具,既包括SAS Institute和IBM提供的商业化分析工具,也包括一些开源工具,像H2O,R和Mahout等。

数据沙盒有助于数据分析

Zhao 要求Macys.com的数据工程团队在公司数据仓库中为他的团队构建数据沙盒。这允许他团队中的数据科学家以一种实际相关性来转换或连接数据,而不需要在数据记录级别进行任何数据变更。

对于所有这些工具,Zhao表示,H2O在进行预测建模尤其有用。他第一次意识这一点是在最近的一次演示某个软件的会议上。他说,在11秒内,工具在一个有着一亿行数据的数据集上执行一次逻辑回归。重要的是,这些工具能够与公司的后端数据基础设施完美集成,这使得它更具有吸引力。

Zhao说,他现在沉迷于那些数据科学家可用的开源数据工具。除了其对于大数据强大处理能力,这些工具的背后还有着广受欢迎的大型社区支持,这使得它更容易找到相关问题的答案。集成开源工具和数据基础设施通常会存在一定的问题,因为在出现问题时,并没有专业的技术支持来帮你解决。但此类工具的日益普及逐渐削弱了这个问题产生的影响。

“因为开源软件的逐渐流行,你可以使用谷歌或在论坛里找到答案,”Zhao说。“以前你遇到开源软件的问题,可能会感到孤立无援,现在不会这样了。”

从数据管理中解放出来

当数据科学家在后端系统上运行一些任务时,他将会花费更少的时间在数据管理上。

Colin Borys遇到的情况大致如此,Colin是Riot Games Inc.公司的数据科学家,该公司就是大名鼎鼎的对战游戏LOL的开发商。在6月旧金山举行2016 Spark Summit峰会的一次演讲中,Borys表示,他的团队会监控网络流量,以试图发现是否有玩家正在遭遇网络拥堵,是否可以通过网络疏导来提高网络连通性。数据科学团队还开发了一个推荐引擎,建议玩家选择不同的服务器来均衡网络负载。

在之前,大部分工作是基于Hive上运行的临时查询,但Borysr认为这种方法并不高效,不具有较好的可伸缩性。Riot Games随后引入了Spark技术,部分原因是它想让数据科学家在Hadoop数据上执行SQL查询,对于SQL,他们已经非常熟悉。这家位于Los Angeles的公司开始使用Databricks提供的云Spark平台,这样不需要有专门的人来花时间管理集群。

在引进的Spark之前,Borys说,数据科学家会花费大量的时间在准备数据上。现在他们可以利用这些时间来完成实际的数据分析。

“我们想要解放分析师,”他说道。“使用Spark,进行数据分析容易的多,它也让分析变得更为有效。”

本文作者:小骨头

来源:51CTO

时间: 2024-10-26 17:34:35

大数据工具,在数据科学家眼中是怎样的存在?的相关文章

大数据时代留给数据分析师的羁绊

大数据搭着信息时代的快车来到了我们的面前,数据的价值逐渐为人们所重视,同时也让数据分析师的身价倍增.而随着大数据分析工具等大数据应用技术的出现,未来的数据分析师又将遇到怎样的挑战和机遇呢? 工具抢了人的饭碗? 很多大数据分析工具的设计起点非常高,定位了数据分析过程中所需要的大部分功能.好的工具应该可以从数据前期整合.收集到挖掘.分析乃至末端的数据可视化的整个数据分析过程. 但如果仅凭这些就认定大数据分析工具能取代数据分析师,未免有些杞人忧天了.恰恰相反,大数据分析工具不是数据分析师的竞争者,而是

有了这7家大数据工具企业,还需要数据科学家么?

正如福特公司大数据主管John Ginder和其他一些企业的高管所描述的一样,业内缺乏简单的工具来解决大数据问题. "我们正在走向大数据这一伟大的终点."John Ginder在接受媒体采访时说,"尽管福特有专家来研发工具以及针对一些特殊应用的具体问题进行开发,但是面对未来所有数据都将被挖掘的现状,我们没有足够的人手和工具.数据专家而不是计算机科学家,要对数据进行审查并发觉之前没有被挖掘出的关系.这显然是一个很美好的未来,但可惜的是现在我们还没有这样的能力." 美国

Bossies:最佳开源大数据工具

处理大数据可能会遇到各种各样的问题,目前没有任何工具可以完美地处理这一切--即便是Spark.在今年的 Bossie开源大数据工具中,你会发现最新最好的方法是利用大型集群进行索引.搜索.图形处理.流处理.结构化查询.分布式OLAP和机器学习,因为众多处理器和RAM可降低工作量级. Bossie奖是英文IT网站InfoWorld针对开源软件颁发的年度奖项,根据这些软件对开源界的贡献,以及在业界的影响力评判获奖对象.本次InfoWorld评选出了13款最佳开源大数据工具,Spark.Beam都名列榜

Bossies 2016:最佳开源大数据工具

处理大数据可能会遇到各种各样的问题,目前没有任何工具可以完美地处理这一切--即便是Spark.在今年的 Bossie开源大数据工具中,你会发现最新最好的方法是利用大型集群进行索引.搜索.图形处理.流处理.结构化查询.分布式OLAP和机器学习,因为众多处理器和RAM可降低工作量级. Bossie奖是英文IT网站InfoWorld针对开源软件颁发的年度奖项,根据这些软件对开源界的贡献,以及在业界的影响力评判获奖对象.本次InfoWorld评选出了13款最佳开源大数据工具,Spark.Beam都名列榜

值得一试的4个大数据工具

如今,大数据越来越重要,因为企业需要处理来自多个来源的不断增长的存储数据. 采用大数据可以称之为一场完美风暴.廉价的存储和大量的结构化和非结构化数据的大量涌入,导致了诸多的大型数据工具得以开发,帮助企业"解锁"他们积累的数据,从客户记录到产品性能的结果等更多的数据. 像传统的商业智能(BI),这些新的大数据工具可以分析过去的趋势,并帮助企业识别重要模式,如特定的销售趋势.许多大数据工具现在提供了一个新一代预测和规范性的见解,以及深埋在企业数据中心的所有数据. 对于人们面临的挑战,调查机

大数据工具指南:从选择到应用

通过部署和使用大数据分析工具,分析流程可以帮助公司提高运营效率,产生新的利润,获得竞争优势.企业可选择的数据分析应用程序有很多.比如描述性分析善于描述已发生的事情,揭示因果关系.描述性分析主要输出查询.报表和历史数据可视化. 另外,更复杂的预测模型和规范模型可以帮助企业获得商机,做出影响市场战略,提升客户体验,避免设备故障的决定.在预测分析中,历史数据集有了预测 分析,历史数据集可用于分析未来的状况和行为,规范分析承接预测分析,建议决策者采取某种行为.在很多情况下,先进的分析程序由于处理和数据存

最适合Java开发者的大数据工具和框架

文章讲的是最适合Java开发者的大数据工具和框架,当今编程人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂.根据外媒的一项调查报告,以下列出了Java程序员在过去12个月内一直使用的一些工具或框架,或许会对你有意义. 先来看看大数据的概念.根据维基百科,大数据是庞大或复杂的数据集的广义术语,因此传统的数据处理程序不足以支持如此庞大的体量. 在许多情况下,使用SQL数据库存储/检索数据都是很好的选择.而现如今的很多情况下,它都不再

大数据时代你不得不了解的大数据处理工具

如今Apache Hadoop已成为大数据行业发展背后的驱动力.Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper.Flume). Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化.非结构化等)的能力.但这与之前有什么不同? 现今企业数据仓库和关系型数据库擅长处理结构化数据,并且可以存储大量的数据.但成本上有些昂贵.这种对数据的要求限制了可处理的数据种类,同时这 种惯

2015 Bossie评选:最佳开源大数据工具

Bossie奖是知名英文IT网站InfoWorld针对开源软件颁发的年度奖项,根据这些软件对开源界的贡献,以及在业界的影响力评判获奖对象.本次InfoWorld评选出了22款最佳的开源大数据工具,像Spark.Storm都名列榜单之上. InfoWorld在分布式数据处理.流式数据分析.机器学习以及大规模数据分析领域精选出了2015年的开源工具获奖者,下面我们来简单介绍下这些获奖的技术工具. 1. Spark 在Apache的大数据项目中,Spark是最火的一个,特别是像IBM这样的重量级贡献者