怎么开发一个基于spark的web实时查询web程序

问题描述

如标题，公司想开发这样一个小程序，但是现在不知道从何下手，spark又没有提供接口可以在我的web应用程序里面直接调用，那意味着是不是我每次查询的时候，要把sql语句和对应的scala代码一起通过ssh提交到集群的主机上运行spark-shell命令，但是有几个地方想不明白1.这样执行的结果我怎么拿回来显示在web界面上？还是有其他的办法实现？2.我们有个功能点是机器学习所以会用到MLLib，每个流程点都需要提交查询一次，把结果拿一部分回来给用户看，并把结果作为下个流程节点的输入，那我的web程序怎么和集群沟通

解决方案

解决方案二：
楼主的问题是怎么解决的，我们现在也要这样来做，要怎么进行，能不能给小弟一点指导
解决方案三：

解决方案四：
参考一下apache的开源项目：apachelens
解决方案五：
楼主怎么弄得，能分享一下吗
解决方案六：
把web端的请求写入kafka，Spark读取kafka数据处理将后写入缓存数据库。