Jstorm草草配置

今天帮同事调试一个双节点的Jstorm测试集群。

UI界面总是不能出现集群的具体信息。

参考几个URL调了一下。搞定了。

收获以下知识点:

1,UI是在storm.yaml里配置的

2,Jstorm分为nimbus和supervisor,前者相当于master,后者相当于slave。

3,管理节点和任务结点之前,用zookeeper用任务传递

4,每个节点,不分主从,storm.yaml的配置都是一样的。

5,主从节点的区别,是从启动命令来体现的。

============================

配置完成后,将安装包分发到其它机器上,在nimbus节点执行

nohup jstorm nimbus &

执行stop.sh关闭nimbus

在supervisor执行

nohup jstorm supervisor &

执行stop.sh关闭supervisor

=======================

 

#集群zk配置,可多个,可单个
storm.zookeeper.servers:
     - "10.5.3.100"
     - "10.5.3.101"
     - "10.5.3.102"
#ZK的存储目录
 storm.zookeeper.root: "/jstorm"
#指定主节点地点
 nimbus.host: "10.5.3.100"
#STORM存储目录
 storm.local.dir: "%JSTORM_HOME%/data"
#UI配置,记住,YAML文件,前面有空格哟,这里调了会!!!!~~~:)
 ui.clusters:
     - {
         name: "jstorm",
         zkRoot: "/jstorm",
         zkServers:
             [ "10.5.3.100","10.5.3.101","10.5.3.102"],
         zkPort: 2181,
       }

 

时间: 2024-09-18 06:18:03

Jstorm草草配置的相关文章

【中间件2】在虚拟机搭建JStrom

一 安装步骤 二 搭建Zookeeper集群 1 ZooKeeper 单机安装与配置 11 下载zookeeper安装包 12 解压zookeeper安装包 13 设置环境变量 14 配置zoocfg 15 启动zookeeper 三 搭建JStorm集群 1 安装Python 26 2 安装JDK 17 版本 3 安装JStorm 31 配置JSTORM_HOMEconfstormyaml 32 例子 33 在提交jar的节点上执行 4 在tomcat服务器安装JStorm Web UI4 5

性能、稳定性、反压、Exactly Once,Jstorm开源最佳实践全解析

在2017年在线技术峰会--阿里开源项目最佳实践上,来自阿里巴巴中间件的技术专家卫乐分享了Jstorm开源最佳实践.他主要介绍了Jstorm的架构,从性能.稳定性.监控系统.大规模部署.反压.灰度发布&热升级.Exactly-Once.新的窗口机制等方面详细扥想了Jstorm做的优化.以下内容根据直播视频整理而成. 关于阿里中间件,欢迎访问官网了解更多:https://www.aliyun.com/aliware 视频回顾:点击进入 Pdf下载:点击进入   发展历史   JStorm从2013

JStorm-0.9.6.2安装配置

JStorm是由Alibaba开源的实时计算系统,它使用Java重写了Apache Storm(使用Clojure+Java混编),而且在原来的基础上做了很多改进的地方.使用Java重写,对于使用Java的开发人员来说,可以通过阅读源码来了解JStorm内部的原理和实现,而且可以根据运行错误日志来排查错误. 下面通过安装配置,以及简单使用的验证,来说明JStorm宏观上与Apache Storm的不同之处. 安装配置JStorm Server 首先,要保证JDK成功安装配置,然后在一个节点上下载

jstorm 2.1.1 release

jstorm 2.1.1 2016年3月1日正式release, 用户可以自行前往https://github.com/alibaba/jstorm/wiki/Downloads 下载   Release 2.1.1 New features 相比2.1.0有1.5-6倍的性能提升 添加了应用层的自动batch 增加了独立的控制消息通道,将控制消息与业务消息分开,保证控制消息有较高的优先级被处理 支持jdk1.8 添加了nimbus hook和topology hook Metrics系统: 支

CentOS 6.8 实战部署JStorm集群

Alibaba JStorm 是一个强大的企业级流式计算引擎,是Apache Storm 的4倍性能, 可以自由切换行模式或mini-batch 模式,JStorm 不仅提供一个流式计算引擎, 还提供实时计算的完整解决方案, 涉及到更多的组件, 如jstorm-on-yarn, jstorm-on-docker, SQL Engine, Exactly-Once Framework 等等.   JStorm 是一个分布式实时计算引擎 JStorm 是一个类似Hadoop MapReduce的系统

jstorm 介绍

概叙 & 应用场景 JStorm 是一个分布式实时计算引擎. JStorm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,JStorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个Worker 发生意外故障, 调度器立即分配一个新的Worker替换这个失效的Worker. 因此,从应用的角度,JStorm应用是一种遵守某种编程规范的分布式应用.从系统角度, JStorm是一套类似MapReduce的调度系

jstorm简介(转)

  Jstorm是参考storm的实时流式计算框架,在网络IO.线程模型.资源调度.可用性及稳定性上做了持续改进,已被越来越多企业使用  作为commiter和user,我还是非常看好它的应用前景,下面是在团队内的分享介绍,更多请参考https://github.com/alibaba/jstorm 一.jstorm是什么        jstorm可以看作是storm的java增强版本,除了内核用纯java实现外,还包括了thrift.python.facet ui.从架构上看,其本质是一个基

跨入流式计算时代,用不着洪荒之力——在阿里云容器服务上一键部署JStorm

JStorm是阿里巴巴出品的强大的企业级流式计算引擎,跟Apache Strom相比,具有使用方便.性能高.生态丰富等优点,是搭建流式计算平台的优秀选择.更多关于JStorm的介绍,请参考官方网站http://www.jstorm.io/ 但是,部署JStorm依赖于zookeeper.python.JDK等若干个组件,同时还要配置nimbus.supervisor等角色,部署过程比较长.为了简化这一过程,阿里巴巴JStorm团队和容器服务团队合作推出了Docker版的JStorm,可以实现一键

JStorm 2.2.1 版本正式发布

Jstorm 2.2.1 目前已正式发布,用户可以自行前往https://github.com/alibaba/jstorm/wiki/Downloads 下载体验. 性能优化 对比2.1.1和去年的双十一版本0.9.8.1有200%~300%的提升.在高并发和低并发的多个测试场景(word count)中,是Flink性能的120%~200%,是Storm的300%~400%. JStorm主要从以下几个方面对性能进行优化. 重构batch的实现方案 优化序列化和反序列过程,减少cpu和网络消