问题描述

在spark streaming中实时更新mllib的ALS算法的模型遇到的问题！

在spark streaming中使用ALS算法，实现模型的实时更新有人了解吗？

总是出ERROR [dag-scheduler-event-loop] scheduler.DAGSchedulerEventProcessLoop (Logging.scala:logError(96)) - DAGSchedulerEventProcessLoop failed; shutting down SparkContext
这个异常是什么意思？网上找了好久都没解决。。快疯了

大概就是上面几张图描述的那样子，求教育！

解决方案

问题已 解决。。。
allData 加上cache之后异常可以解决了，这是为什么呢？
其中又出现了一个错误：

卡住n久之后，程序退出，hdfs和hbase的相关节点挂掉
一路查看了相应的日志一知半解可能是nn和jn之间的通信超时了
按照官网的文档 配置在hdfs-site.xml中加入

dfs.qjournal.write-txns.timeout.ms
600000000

再次测试，又抛新异常

代码中allData.repartion(3).cache（只是抱着试一试的心态）
再次测试，运行过程中又出现了几次和zk连接中断之后自动重新连接
基本运行没问题了

虽然问题解决了，但是完全不知道是怎么个原理来解决的。。。
程序运行的时候总是会和zk通信中断之后在重新连接，虽然可以达到目的，但是重新连接过程要消耗很多时间，有什么好的解决方法吗