《编译与反编译技术实战》——2.4节本章小结

3.5 本章小结本章主要介绍了BDAS中广泛应用的几个数据分析组件.SQL on Spark提供在Spark上的SQL查询功能.让用户可以基于内存计算和SQL进行大数据分析.通过Spark Streaming,用户可以构建实时流处理应用,其高吞吐量,以及适合历史和实时数据混合分析的特性使其在流数据处理框架中突出重围.GraphX充当Spark生态系统中图计算的角色,其简洁的API让图处理算法的书写更加便捷.最后介绍了MLlib--Spark上的机器学习库,它充分利用Spark内存计算和适合迭代的

1.5 本章小结本章首先介绍了Spark分布式计算平台的基本概念.原理以及Spark生态系统BDAS之上的典型组件.Spark为用户提供了系统底层细节透明.编程接口简洁的分布式计算平台.Spark具有内存计算.实时性高.容错性好等突出特点.同时本章介绍了Spark的计算模型,Spark会将应用程序整体翻译为一个有向无环图进行调度和执行.相比MapReduce,Spark提供了更加优化和复杂的执行流.读者还可以深入了解Spark的运行机制与Spark算子,这样能更加直观地了解API的使用.Spar

2.5 本章小结本章首先介绍了Spark应用程序的开发流程以及如何编译和调试Spark程序.用户可以选用对Scala项目能够很好支持的Intellij IDE.如果用户想深入了解Spark,以及诊断问题,建议读者配置好源码阅读环境,进行源码分析.通过本章的介绍,读者可以进行Spark开发环境的搭建,以及程序的开发,后续将介绍Spark的生态系统BDAS.

第2章Spark部署和运行合抱之木,生于毫末:九层之台,起于累土:千里之行,始于足下.--<道德经>第六十四章合抱的粗木,是从细如针毫时长起来的:九层的高台,是一筐土一筐土筑起来的:千里的行程,是一步又一步迈出来的.那么,Spark高手之路,是从Spark部署和运行开始的,只要坚持,就一定会有收获!对于大部分想学习Spark的人而言,如何构建稳定的Spark集群是学习的重点之一,为了解决构建Spark集群的困难,本章内容从简入手,循序渐进,主要包括:部署准备工作.本地模式部署.独立模式部署.Y

第1章Spark简介上善若水,水善利万物而不争.--<道德经>第八章数据一如水,无色无味,非方非圆,以百态存于自然,于自然无违也.绵绵密密,微则无声,巨则汹涌:与人无争却又容纳万物.生活离不开水,同样离不开数据,我们被数据包围,在数据中生活.当数据越来越多时,就成了大数据.想要理解大数据,就需要理解大数据相关的查询.处理.机器学习.图计算和统计分析等,Spark作为新一代轻量级大数据快速处理平台,集成了大数据相关的各种能力,是理解大数据的首选.现在,让我们以向大师致敬的方式开始学习之旅,向Do

第3章Spark程序开发致虚极,守静笃.万物并作,吾以观复.--<道德经>第十六章这世间,一切原本都是空虚而宁静的,万物也因而能够在其中生长.因此,要追寻万物的本质,必须恢复其最原始的虚静状态,只有致虚和守静做到极笃的境地,万物才能蓬勃生长,往复循环.作为程序员,怎么提倡超越都不为过,但落地到具体问题,我们需要有比较实际的措施.从简单程序开始,以致虚和守静的心态,清空自己在大数据方向不劳而获的幻想,逐步成长为业内有影响力的角色.对于大部分程序员而言,本章内容略显基础,首先通过Spark交互Sh

目 录 前 言 基 础 篇第1章 Spark简介 1.1 什么是Spark1.2 Spark的重要扩展1.3 本章小结第2章 Spark部署和运行2.1 部署准备2.2 Spark部署2.3 运行Spark应用程序2.4 本章小结第3章 Spark程序开发3.1 使用Spark Shell编写程序3.2 构建Spark的开发环境3.3 独立应用程序编程 3.4 本章小结第4章 编程模型4.1 RDD介绍4.2 创建RDD4.3 RDD操作4.4 共享变量4.5 本章小结第5章 作业执行解析5.1

1.3 本章小结大数据以及相关的概念.技术是业界和学界最近关注的热点,Spark在其中扮演了非常重要的角色.本书首先对Spark大数据框架进行了简单的介绍,展示了蓬勃发展的Spark大数据相关的特点和用途,揭开了Spark整个生态环境的神秘面纱.并在此基础上,向读者介绍了基于Spark的重要扩展,包括Spark SQL和DataFrame.Spark Streaming.MLlib和ML.GraphX.SparkR,使读者对Spark能做什么有个初步的了解.

2.4 本章小结正所谓工欲善其事必先利其器,Spark的部署和运行并不复杂,但是其作用范围之广,兼容能力之强值得我们深究和讨论.本章从SBT与Maven两种编译Spark的方式展开,以Local模式.Standalone模式和YARN模式为基础,详细地讲解了Spark的部署和运行,介绍了Spark在各个模式下的区别和特点,希望能为接下来的Spark编程打下良好的基础.

2.8 本章小结Android 3D游戏开发技术宝典--OpenGL ES 2.0本章主要对Android平台下游戏开发中可能会用到的Android平台的相关基础知识进行了详细介绍,如文件的I/O操作.SQLite数据库的增.删.改.查,游戏中声音特效.蓝牙互联等.只有学好这些基础知识,开发人员才能开发出更好的Android手机游戏.读者一定要在这些基础上面下足了工夫,今后的开发道路才会一帆风顺. 提示 Android平台的其他相关知识还有很多,由于本书侧重于介绍OpenGL ES 2.0 3D