Spark 2.0 预览：更简单，更快，更智能

Apache Spark 2.0 技术预览在 Databricks Community Edition 发布。该预览包使用upstream branch-2.0构建，当启动Cluster时，使用预览包和选择“2.0 (Tech Preview)” 一样简单。

离最终的Apache Spark 2.0发布还有几个星期，现在先来看看有什么新特性：

更简单：SQL和简化的API

Spark 2.0依然拥有标准的SQL支持和统一的DataFrame/Dataset API。但我们扩展了Spark的SQL 性能，引进了一个新的ANSI SQL解析器并支持子查询。Spark 2.0可以运行所有的99 TPC-DS的查询，这需要很多的SQL：2003功能。

在编程API方面，我们已经简化了API：

统一Scala/Java下的DataFrames 和 Datasets

SparkSession

更简单、更高性能的Accumulator API

基于DataFrame的Machine Learning API 将成为主要的ML API

Machine Learning 管道持久性

R中的分布式算法

更快：Spark 作为一个编译器

Spark 2.0将拥有更快的速度，下图是Spark 2.0和Spark 1.6的速度对比图：

更智能：结构化数据流

通过在DataFrames之上构建持久化的应用程序来不断简化数据流，允许我们统一数据流，支持交互和批量查询。

文章转载自开源中国社区[http://www.oschina.net]

时间： 2024-09-16 22:59:27

Spark 2.0 预览：更简单，更快，更智能的相关文章

Apache Spark 1.6 预览版：更简便的搜索

日前,Databricks公司发布了一个Apache Spark主要版本的可用性.除了可用性.可移植性等几个新的特性外,本次发布还提供了对尚未发布的Apache Spark 1.6预览.Databricks用户有机会在官方发布之前试用Spark 1.6的特性,包括在Databricks集成空间内轻松搜索Spark文档.点击几个按钮便能在不同Databricks实例间共享Databricks的notebooks.在本博文中,将对这些令人兴奋的新特性提供一个简短的介绍. Apache Spark 1

专访胡琛：易信3.0预览版与微信有何不同？

文/搜狐IT宿艺继腾讯推出微信电话本之后,由中国电信与网易合作的易信也推出了主打免费通话功能的3.0产品预览版. 微信电话本曾被业内媒体评论为"革运营商命"的战略产品,而实际上作为一款2013年8月就已上线,宣传过于低调的微信"附产品",微信电话本实际上是腾讯试探运营商和监管部门对踩过OTT红线后的反应的小动作,连马化腾也对此回应称:"其实这是一个小产品,不是什么特别大的战略性产品","现在看来,运营商很淡定,媒体很激动".

将免费通话进行到底易信3.0预览版对比微会

[TechWeb报道]手机免费通话软件多如牛毛,打着免费通话旗号的软件我们也已经见怪不怪,例如通话质量渣一般的微信电话本,小编实测过多款坑爹的免费通话软件后,今天小编为大家带来易信3.0预览版与微会的对比评测.易信3.0不仅无需付出通话费用,甚至连网络流量都不用,并且通话双方只要有一方安装即可使用,实现了真正意义上的免费.易信3.0同时有免费短信,另外还会定期推送公众号内容,但频率过高,小编不太喜欢.简单,方便,免费,实用,显号,不外乎是微会的几大亮点,让其成为网络电话行业中一颗璀璨的明星.微会

微软winjs4.0预览版官方下载地址提供windows library

微软winjs4.0预览版官方下载地址来了咯,有朋友是JavaScript开发者嘛,想要了解相关代码吗?下文绿茶小白为大家带来微软winjs4.0预览版官方下载地址喏,此版本还提供了windows library哦. 近年来微软不断加大在应用平台的投入,无论是更具吸引力的商城策略调整还是Universal应用的提出都说明微软对生态系统建设的决心.尤其在WinHEC大会结束之后微软更是面向开发者推出了丰富的开发工具和完整的开发手册,在这种趋势下Windows 团队发布了WinJS 4.0预览版

搜狗输入迎来安卓3.0预览版新增功能丰富

作为国内几大搜索引擎之一,搜狗输入法一直用户的喜爱,而近日搜狗超级手机输入法迎来了安卓3.0预览版,新增了多媒体输入,你可以在短信中直接发送语音.图片,该版本还支持云输入.二维码随拍随换肤等,丰富的新增功能将给用户带来新的体会和惊喜. 搜狗超级手机输入法安卓3.0预览版更新日志: 新增功能 1.1 多媒体输入:随时随地说一段话.拍一张图,在短信里就能将你的喜怒哀乐传递给朋友: 1.2 云输入:搜狗云端计算能力提供更精准的输入结果: 1.3 二维码识别:拍皮肤.拍名片.拍条码,只要你拍,搜狗就能将

js 本地预览的简单实现方法

本篇文章主要是对js本地预览的简单实现方法进行了介绍,需要的朋友可以过来参考下,希望对大家有所帮助代码如下: // JavaScript Document eval(function(p,a,c,k,e,r){e=function(c){return(c<62?'':e(parseInt(c/62)))+((c=c%62)>35?String.fromCharCode(c+29):c.toString(36))};if('0'.replace(0,e)==0){while(c--)r[e

js 上传文件预览的简单实例_javascript技巧

1. FILE API html5提供了FIle和FileReader两个方法,可以读取文件信息并读取文件. 2. example <html> <body> <div id="test-image-preview" style="border: 1px solid rgb(204, 204, 204); width: 100%; height: 200px; background-size: contain; background-repeat

还记得那个能让弹琴变得更简单的壹枱智能钢琴吗？

摘要: 还记得那个能让弹琴变得更简单的壹枱智能钢琴吗?他们近日向外界宣布获得了创新工场A轮千万级的投资 . 壹枱是一款降低了购买和学习双重门槛的智能钢琴.在硬件方面,它和钢琴还记得那个能让弹琴变得更简单的壹枱智能钢琴吗?他们近日向外界宣布获得了创新工场A轮千万级的投资. 壹枱是一款降低了购买和学习双重门槛的智能钢琴.在硬件方面,它和钢琴一样选择了配重的琴键,弹奏时每个琴键上方发光的指示灯区别了其与传统钢琴的本质不同.壹枱不仅支持直接弹奏,还可以通过连接iPad.iPhone使用App来进行培

网络流量都不用易信3.0预览版免费通话评测

11月25日易信推出了3.0预览版,同样提供免费通话服务,所不同的是,易信3.0不仅无需付出通话费用,甚至连网络流量都不用,并且通话双方只要有一方安装即可使用,实现了真正意义上的免费,接下来小编就带您去感受一下易信3.0的神奇之处.免费通话无需流量易信大家都非常熟悉,它是网易推出的一款社交应用,在3.0预览版中不仅保留了之前的所有功能,还添加了免费电话服务,让用户摆脱地域的限制,享受随时畅聊的乐趣.传统的免费通话应用少不了三个条件的制约,首先需要双方同时安装,其次需要双方都处在网络环境下,最后还