Spark零基础入门系列在线视频培训入口

问题描述

Spark是当前最流行的开源大数据内存计算框架,采用Scala语言实现,由UC伯克利大学AMPLab实验室开发(2009)并于2010年开源,在2014年成为Apache基金会的顶级项目。2014年至2015年,Spark经历了高速发展,Databricks2015Spark调查报告显示[1]:2014年9月至2015年9月,已经有超过600个Spark源码贡献者,而在此之前的12个月人数只有315个,Spark超越Hadoop,无可争议地成为大数据领域内最活跃的开源项目。除此之外,已经有超过200个公司为Spark奉献过源代码,使Spark社区成为迄今为止开发人员参与最多的社区。本议题的目标是引导想从事大数据处理的IT人员进行Spark入门学习,主要内容包括Scala语言核心语法、Spark集群搭建及开发环境搭建、Spark编程模型、SparkSQL、SparkStreaming、SparkMLlib及SparkGraphx。通过本议题,能够应用Scala进行Spark应用程序开发、掌握Spark的基本运行原理及编程模型,能够熟悉运用SparkSQL进行大数据仓库的开发,掌握Spark流式计算、Spark机器学习及图计算的原理。培训嘉宾:周志湖,绿城集团数据中心数据库工程师/管理员。嘉宾介绍:电子科技大学计算机软件与理论硕士研究生,研究方向为计算机视觉、机器学习,毕业后先后供职于宁波银行、中共浙江省委党校,目前就职于绿城集团,担任数据中心平台架构师、数据开发主管。Scala语言、Hadoop及Spark大数据处理技术爱好者。议题提纲(已完成到紫色章节,入口稍后会链接到每个议题,预计发布时间12.14)Scala篇1.讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。2.对Array、List、Map等重要数据结构的操作进行介绍。3.Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。4.Scala类和对象。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。5.Scala模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与CaseClass。6.Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。7.Scala隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。8.Scala高级类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,IntellijIDEASpark开发环境搭建,SparkShell的使用等。2.Spark运行原理。内容包括spark脚本文件解析、Spark几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark任务调度等。3.Spark编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。4.SparkSQL与DataFrame,介绍SparkSQL及DataFrame的运行原理及使用方法,利用案例介绍SparkSQL的使用。5.Spark流式计算。介绍DStream、SparkStreaming原理,并通过几个案例说明其使用。6.Spark机器学习。介绍SparkMLlib架构,通过K-Mean算法、随机森林等算法说明SparkMLlib的使用。7.SparkGraphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。进阶课程——TBD……

解决方案

本帖最后由 zhong930 于 2015-12-08 21:03:40 编辑
解决方案二:
希望以后持续更新,当然,最好别收费。互联网,追求开源,共享
解决方案三:
为楼主点个赞。
解决方案四:
夭折了吗,怎么还没更新,
解决方案五:
抱歉,有段时间没有更新,直接到这个统一的报名接口就可以http://edu.csdn.net/huiyiCourse/detail/88。

时间: 2025-01-19 14:33:01

Spark零基础入门系列在线视频培训入口的相关文章

深度学习真的可以零基础入门吗?

我们先来谈谈自学深度学习最大的问题. 现在搞深度学习的,十之八九并不是"科班出身". 这就导致:如果你想要跨行成为一名深度学习工程师,从头到尾的一切,都基本靠自学.但是,开发者很快就会发现自己遇到了第一个障碍: 绝大多数的学习资源以理论研究为导向,轻工程实践. 其实这也难怪.这几年,深度学习是火了,但大牛们都来自学界,例子不胜枚举:比如谷歌云首席科学家李飞飞.主管 FAIR 的 Yann LeCun.在谷歌大脑的 Ian Goodfellow,以及在过去三年里任百度首席科学家的吴恩达.

零基础入门深度学习(5) - 循环神经网络

  在前面的文章系列文章中,我们介绍了全连接神经网络和卷积神经网络,以及它们的训练和使用.他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的.但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的.   比如,当我们在理解一句话意思时,孤立的理解这句话的每个词是不够的,我们需要处理这些词连接起来的整个序列:当我们处理视频的时候,我们也不能只单独的去分析每一帧,而要分析这些帧连接起来的整个序列.这时,就需要用到深度学习领域中另一类非常重要神经网络:循

Bootstrap零基础入门教程(三)_javascript技巧

什么是 Bootstrap? Bootstrap 是一个用于快速开发 Web 应用程序和网站的前端框架.Bootstrap 是基于 HTML.CSS.JAVASCRIPT 的. 历史 Bootstrap 是由 Twitter 的 Mark Otto 和 Jacob Thornton 开发的.Bootstrap 是 2011 年八月在 GitHub 上发布的开源产品. 写到这里,这篇从零开始学Bootstrap(3)我想写以下几个内容: 1. 基于我对Bootstrap的理解,做一个小小的总结.

零基础入门深度学习(6) - 长短时记忆网络(LSTM)

在上一篇文章<零基础入门深度学习(4):循环神经网络>中,我们介绍了循环神经网络以及它的训练算法.我们也介绍了循环神经网络很难训练的原因,这导致了它在实际应用中,很难处理长距离的依赖.在本文中,我们将介绍一种改进之后的循环神经网络:长短时记忆网络(Long Short Term Memory Network, LSTM),它成功地解决了原始循环神经网络的缺陷,成为当前最流行的RNN,在语音识别.图片描述.自然语言处理等许多领域中成功应用.   但不幸的一面是,LSTM的结构很复杂,因此,我们需

七天LLVM零基础入门(Linux版本)------总结

七天LLVM零基础入门这系列文章,为了让刚接触LLVM的人在最短的时间内快速的熟悉LLVM.这系列文章,现在经过将近一年的时间的使用,有了不少反馈的意见,现在将这些情况总结一下. 1. 在按照这个七天的学习计划进行的学习过程中,不少人出现了延误现象,主要体现在读文档的时候,读的过于仔细,然后感觉时间不够用.虽然在文档上花了很长时间,但是到最后该用文档中的东西的时候,反而无从下手.出现这个问题,主要还是不会把握文档的重点,这个系列中列出来的文档,在日后接触LLVM的过程中,需要不断的去读,反复的去

零基础入门深度学习(1):感知器,激活函数

零基础入门深度学习(1) - 感知器零基础入门深度学习(2) - 线性单元和梯度下降零基础入门深度学习(3) - 神经网络和反向传播算法零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络. 零基础入门深度学习(6) - 长短时记忆网络(LSTM). 无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就out了?现在救

零基础入门深度学习(五):长短时记忆网络

在上一篇文章<零基础入门深度学习(4):循环神经网络>中,我们介绍了循环神经网络以及它的训练算法.我们也介绍了循环神经网络很难训练的原因,这导致了它在实际应用中,很难处理长距离的依赖.在本文中,我们将介绍一种改进之后的循环神经网络:长短时记忆网络(Long Short Term Memory Network, LSTM),它成功地解决了原始循环神经网络的缺陷,成为当前最流行的RNN,在语音识别.图片描述.自然语言处理等许多领域中成功应用.   但不幸的一面是,LSTM的结构很复杂,因此,我们需

七天LLVM零基础入门(Linux版本)------第一天

作者:snsn1984 开篇语: 学习LLVM的过程是一个漫长而艰巨的过程,需要大量的时间和精力.不仅仅如此,开始的过程也不轻松.一个好的开始就是成功的一半.我结合了自己学习的过程,以及给别人推荐学习的过程,整理出了这个七天LLVM零基础入门的系列博客.主要的目标是让没有LLVM基础的人,经过这一系列的学习,可以完成一些Pass的工作,并且可以成功的自己去自主学习,知道自己该怎么学习,知道自己该去学些什么.如果你有什么建议,欢迎反馈,欢迎探讨. 第一步,要对LLVM有一个初步的印象 这里,htt

零基础入门深度学习(3) - 神经网络和反向传播算法

   神经元   神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数:而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数.如下图所示:       sigmoid函数的定义如下:     将其带入前面的式子,得到     sigmoid函数是一个非线性函数,值域是(0,1).函数图像如下图所示     sigmoid函数的导数是:     可以看到,sigmoid函数的导数非常有趣,它可以用sigmoid函数自身来表示.这样,一旦计算出sigmoi