如何在E-MapReduce上使用storm

Storm 使用指南

集群创建

目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0（以及后续的以上版本），通过在控制台软件列表中勾选storm软件进行安装，选择完毕后即可登录到master节点，通过命令行提交storm作业（E-MapReduce控制台页面暂时还不支持页面提交storm作业类型，后续根据用户的使用情况会考虑支持）。具体构建集群相关选项如下图所示：

作业运行

1. 通过SSH命令，登录集群的master节点。
2. 登录到该节点后，即可通过命令行的方式提交作业，E-MapReduce集群中storm的运行环境位置为：/opt/apps/apache-storm-1.0.1 （用户可以自行将该运行环境目录配置到自己的环境变量中）。
3. 提交storm作业的命令例如：/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.MainClassXXX args1 args2
4. 作业提交成功后，通过storm的UI监控作业的运行状态，查看UI需要在本机和master建立SSH隧道，建立方法参考ssh登录集群，隧道建立成功后，在浏览器中访问：http://localhost:9999 即可打开storm的监控UI。

监控UI的截图样例如下：

storm启动的Daemon和占用的端口

1. storm会在master节点启动nimbus进程和监控UI进程，分别占用6627端口和9999端口。
2. storm会在core节点启动 supervisor 占用 6700 6701 6702 6703 端口。