一段scala代码读不懂。。。

问题描述

defmap[U:ClassTag](f:T=>U):RDD[U]={valcleanF=sc.clean(f)newMapPartitionsRDD[U,T](this,(context,pid,iter)=>iter.map(cleanF))}RDD.scala里的这个方法里的context,pid,iter不知道从哪来的啊？？https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala

解决方案

本帖最后由 guotong1988 于 2015-03-03 15:32:45 编辑
解决方案二：
这里的(context,pid,iter)=>iter.map(cleanF)是个匿名函数,作为一个类参数传入MapPartitionsRDD(也就是说在这个地方当前不会运行),(context,pid,iter)是该匿名函数的参数列表.context,pid,iter的实际值是在MapPartitionsRDD.compute方法中调用该匿名函数时传入的.

时间： 2024-12-09 10:38:04

一段scala代码读不懂。。。的相关文章

spark-一小段scala代码看不懂？

问题描述 一小段scala代码看不懂? def collect(): Array[T] = withScope { val results = sc.runJob(this, (iter: Iterator[T]) => iter.toArray) Array.concat(results: _*) } 里面的results是个数组Tuple3[n][] 问下Array.concat(results: _*)是什么意思啊?? 我想自己初始化一个Tuple3[n][],但是我不会初始化这个东西啊.

spark1.2里的一小段scala代码看不懂

问题描述 spark1.2里的一小段scala代码看不懂 def map [ U : ClassTag ] ( f : T => U): RDD[U] = { val cleanF = sc.clean(f) new MapPartitionsRDD [ U , T ] ( this , ( context , pid , iter ) => iter.map(cleanF)) } RDD.scala里的这个方法里的context, pid, iter不知道从哪来的啊?? https://gi

spark-Spark里一行scala代码看不懂？

问题描述 Spark里一行scala代码看不懂? 就是KMeans.scala里的 val sums = Array.fill(runs, k)(Vectors.zeros(dims)) 这句, 前面fill就是生成一个长度为runs,每个值是k的数组,后面传入一个Vector是什么意思? 解决方案 http://www.zhihu.com/question/40875445

孙鑫-Visual C++的一段代码搞不懂求解释

问题描述 Visual C++的一段代码搞不懂求解释 说一下自己的理解.题目是孙鑫老是的文本输出的例子. 1:GetBkColor得到背景白色,然后SetTextColor(白色)把背景白色设置为文字颜色.跟着clr应该是赋值得到白色了吧,但是F5看的时候是黑色,就要原文字颜色.我这么理解应该错了 1 COLORREF clr=dc.SetTextColor(dc.GetBkColor()); //GetBkColor属于dc对象,改变dc中的背景值(白色).然后SetTextColor用白色值

java web-这段代码看不懂啊，求解释

问题描述 这段代码看不懂啊,求解释 /s:iterator /s:iterator/sx:treenode/s:iterator </sx:treenode> </s:iterator> </sx:treenode> </s:iterator> 解决方案 <sx:tree label="%{#request.project.projectName}" id="parentId" > //项目名 <s:

线程-下面是一段Java代码，里面有几处看不懂，望大神指教，不胜感激。

问题描述 下面是一段Java代码,里面有几处看不懂,望大神指教,不胜感激. package 线程; import java.awt.*;import java.awt.event.*; import javax.swing.*; public class TestThread extends JFrame { /** * */ //private static final long serialVersionUID = 1L; JPanel jPanel1 = new JPanel(); JBu

html-HTML中 一段 代码，不懂

问题描述 HTML中 一段 代码,不懂 注意,这是写在 HTML文件中的,不是jsp. 解决方案 java生成静态html的一段代码一段消除HTML标签格式的代码如果在HTML中重复调用一段导航代码 解决方案二: 第一句话的意思是: 这一段存放了一个模板.在js里面,经常需要使用js往页面中插入html内容.比如这样: var number = 123; $('#d').append('<div class="t">'+number+'</div>') 如果ht

C#初学者 代码看不懂，求大神，用了DBhelper之后两段代码是怎么实现的

问题描述 C#初学者 代码看不懂,求大神,用了DBhelper之后两段代码是怎么实现的 //修改学院信息 private void btnupdate_Click(object sender, EventArgs e) { int index = dgvcollege.CurrentRow.Index; //取得选中行的索引 CollId = dgvcollege.Rows[index].Cells["CollegeId"].Value.ToString(); CollName = d

求一段qt代码，用qcustomPlot读txt文件描点绘数据，求各位大神！

问题描述 求一段qt代码,用qcustomPlot读txt文件描点绘数据,求各位大神! 就下面的一段.txt的数据,第一列是时间做横坐标,分别用第二列第三列的数据画曲线,求各位大神施舍代码呀! m:ss:mmm 2 3 0:00.000 -0.145 -0.065 0:00.003 -0.145 -0.065 0:00.006 -0.145 -0.065 0:00.008 -0.145 -0.065 0:00.011 -0.145 -0.065 0:00.014 -0.145 -0.065 0: