《Storm实时数据处理》一1.10 将产品部署到集群

1.10 将产品部署到集群

在完成整个开发过程之前,我们需要对集群中的Topology进行功能性测试,然后再将其部署到下个环境中。

1.10.1 实战

Step01 首先需要在主机开发环境中配置Storm客户端,在用户主目录下创建.storm目录。然后在这个目录下新建storm.yaml,内容如下:

Step02 在项目根目录下,使用以下命令打包Topology:

Step03 这样就会在项目的目标目录下生成一个完整并打包好的JAR文件。这时就可以用storm客户端命令将JAR包部署到集群上:

1.10.2 解析

Storm命令行客户端为你提供了所有控制集群功能的工具。其中一个功能就是部署打包好的Topology。如果想了解更多有关storm CLI的信息,可以阅读Storm wiki上提供的详细文档,地址是https://github.com/nathanmarz/storm/wiki/Command-line-client。

时间: 2024-08-16 00:05:02

《Storm实时数据处理》一1.10 将产品部署到集群的相关文章

《Storm实时数据处理》一导读

前 言 开源已经在许多方面从根本上改变了软件的原有面貌.在很多应用环境中,人们都会争论使用开源带来的好处和坏处,主要体现在支持.风险以及总体拥有成本等方面.开源在某些领域比其他领域流行,比如在研究机构中就比在大型金融服务提供商中应用得多.在某些新兴领域,比如Web服务供应商.内容供应商以及社交网络等,开源软件占据主导地位.其原因是多方面的,其中成本是一个非常大的因素.怎么说呢?如果方案要上升到网络规模,那么一般会应用"大数据"解决方案,以期获得更好的效果.凭借极佳的可用性,这些解决方案

《Storm实时数据处理》一1.4 创建“Hello World”Topology

1.4 创建"Hello World"Topology "Hello World" Topology和其他所有的"Hello World"应用程序一样,并没有什么实际用途,其目的在于说明一些基本概念."Hello World" Topology结构将演示如何创建一个包含简单的Spout和Bolt的项目,如何构建项目,并在本地集群模式下运行项目. 1.4.1 实战 Step01 新建一个项目目录,并初始化你的Git代码仓库. S

《Storm实时数据处理》一1.7 获取基本的点击率统计信息

1.7 获取基本的点击率统计信息 统计点击率Topology用于记录基本的网站使用量统计信息,具体来说它会统计以下信息: 访客数量 独立访客数量 特定国家的访客数量 特定城市的访客数量 特定国家中每个城市访客数量的百分比 该系统假定访客总量一定,而且希望服务端的用户标示与客户端的Cookies是相对应的.该Topology通过IP地址和公用IP解析服务获取地理位置信息.统计点击率Topology还将使用Redis存储发送到Topology的点击事件,具体来说就是将其作为一个持久化队列:除此以外还

《Storm实时数据处理》一2.8 创建日志分析面板

2.8 创建日志分析面板 日志分析面板是一个通过图形的方式向用户展示统计信息的Web应用程序.在实现它之前,我们需要先了解一下用户界面设计原则. 区分焦点:只显示必要的内容,根据用户试图得到的东西来创建焦点,而不是让用户因无关内容而分心. 极简主义:从可用性角度考虑,只需要包含必要的图形特性. 响应式处理:这是一种确保显示内容清晰和一致的方法,无论是在PC上还是在平板电脑上进行查看. 基于标准:你不应该使用非标准的技术进行开发,因为这有可能会妨碍在诸如iPad这样的设备上正常访问我们的程序. 本

《Storm实时数据处理》一1.5 创建Storm集群——配置机器

1.5 创建Storm集群--配置机器 本地模式下测试集群对调试和验证集群的基本功能逻辑很有帮助.但是,这并不代表你就能够了解集群在实际环境中运行的状况.此外,只有当系统已经在产品环境中运行时,开发工作才算真正完成.任何开发者都应该重视这一点,并且这也是整个DevOps实践的基础.无论采用什么方法,你都必须能够将代码可靠地部署到产品环境中.本节将展示如何直接通过版本控制创建和配置一个完整的集群.在此之前,需要事先说明一些有关创建和配置集群的基本原则: 我们需要时刻了解服务器的会话状态.在没有严格

《Storm实时数据处理》一2.6 统计与持久化日志统计信息

2.6 统计与持久化日志统计信息 我们其实可以收集很多日志流的统计信息,但由于本节只是为了展示一些基本概念,因此我们只准备收集和处理单时间序列(每分钟)日志量.虽说如此,但这应该已经足以展示有关的设计和方法了,这些技巧能够帮助你在未来实现其他分析工作. 2.6.1 实战 Step01 下载storm-cassandra contrib项目并将其安装到Maven仓库中: Step02 在storm.cookbook.log包中,创建一个继承自BaseRichBolt的类VolumeCounting

《Storm实时数据处理》一1.2 搭建开发环境

1.2 搭建开发环境 开发环境涵盖了构建Storm Topology所需的各种工具和系统.虽说本书重点关注的是每个有技术侧重点的Storm交付,但需要指出的是,对于一个软件开发团队来说,无论使用集中式开发环境还是分布式开发环境,都需要更多的工具和流程来保证高效工作,而且不能仅仅局限于本书所讨论的内容.无论是为了将来的开发工作,还是为了实现书中的例子,以下几类工具和流程都是快速搭建开发环境必不可少的: SDK 版本控制 构建环境 系统配置工具 集群配置工具 书中描述的配置和安装方法都基于Ubunt

《Storm实时数据处理》一1.9 实现集成测试

1.9 实现集成测试 由于环境和使用者的差异,集成测试可能会代表多种不同的概念.在本书中,集成测试指的是根据事先定义的输入和输出点,通过端到端的方法测试本地集群Topology的方法.这样就能确保在部署到实际的集群环境之前对Topology进行完整的功能性验证. 1.9.1 实战 Step01 在src/test/java目录下的storm.cookbook包中创建IntegrationTestTopology类.我们在这里添加一个"测试Bolt"类,以便于搭建本地Topology:

《Storm实时数据处理》一1.6 创建Storm集群——配置Storm

1.6 创建Storm集群--配置Storm 当拥有一组准备好进行应用程序配置的虚拟机后,你就可以在每个节点上安装和配置适当的软件包了. 1.6.1 实战 Step01 按照图1-7所示的目录结构,新建名为storm-puppet的项目. Step02 在配置好的节点上,Puppet的运行入口(起点)是site.pp.在manifests目录下新建site.pp并添加以下内容: Step03 接着,你需要定义Storm模块.模块应该放置于modules目录下,并且和Puppet项目根目录的结构一