问题描述
我把SparkContextinstance转成RDD经过处理得到想要的中间数据,而这中间数据需要被各节点共享,我该如何操作,才能把它广播出去?详细点说是,我们根据log文件读取出所有被冻结的账户,而这些被冻结的账户需要被共享,这样的话好进行判断。谢谢各位,小弟初入门庭,还望大家不吝指导。
解决方案
解决方案二:
就看你各个机器是想怎么用这个数据,比如可以把他输出到HDFS中,这样每个机器再从HDFS里读取就行了。还是需要具体看你怎么用数据
解决方案三:
sc.broadcast
时间: 2024-09-20 14:41:55