Kafka项目实战-用户日志上报实时统计之编码实践

1.概述

  本课程的视频教程地址:《Kafka实战项目之编码实践

   该课程我以用户实时上报日志案例为基础,带着大家去完成各个KPI的编码工作,实现生产模块、消费模块,
数据持久化,以及应用调度等工作,
通过对这一系列流程的演示,让大家能够去掌握Kafka项目的相关编码以及调度流程。下面,我们首先来预览本课程所包含的课时,他们分别有:

  接下来,我们开始第一课时的学习:《数据生产实现

2.内容

2.1 数据生产实现

  本课时主要给大家演示Kafka数据生产的代码实现,在前面搭建好的集群环境下,完成Kafka的数据生产功能,以及一些注意事项,为我们编写
消费代码做好准备,让大家掌握Kafka的数据生产的代码实现。

  实践本课时的内容,我们需要设计到两个知识点,他们分别是:

  接着,我们先从一个知识点来开始实践,实践数据生产模块所包含的内容,有以下几点:

  首先第一点是:对项目工程的文件进行配置(pom)
然后是对集群的链接信息进行配置(这里为什么要将这些链接信息配置在配置文件当中,原因是,这些链接信息单独剥离到一个配置文件,便于我们后期维护,
比如:后期添加新的节点信息,或是移除一个已损坏的节点信息,我们可以轻松,快速的在配置文件中修改节点信息即可,无需在去操作我们的业务代码。)具体演
示细节请大家参考视频操作。

  在演示完数据生成模块相关内容后,下面,我带着大家去实践Flume到Kafka模块的相关内容,如下所示:

  以上就是本课时的相关内容演示,其中包含了相关信息的配置,数据的收集过程演示等。

2.2 数据消费实现

  本课时给大家演示 Kafka 数据消费的代码实现,在前面我们创建的 Kafka 的项目工程的基础上,完成消费代码的编写, 以及编写 Storm 代码消费 Kafka 数据的需要注意的细节,通过本课时让大家能够掌握数据消费的代码实现。

  那么,接下来我给大家列出本课时所涉及的核心知识点,如下所示:

  下面,我们开始第一个核心知识点的实践,实践的所包含的内容如下所示:

  1. Storm集群的信息配置:这部分内容包含集群的依赖链接信息。
  2. 依赖文件的选取:这里我们这编写Java代码实现相关功能时,需要选取依赖的JAR包来辅助我们完成编码工作。

  接下来我带这大家看看,如何编码实现这一部分内容,即:实现Kafka到Storm模块的 内容实现,该部分涉及的内容如下所示:

  具体的演示细节,大家可以参考视频操作,观看地址:《数据消费实现

2.3 数据持久化

  内容涉及给大家,介绍如何将消费后的数据(即我们统计的kpi结果)持久化,在前面数据消费实现的基础上,通过流式计算将统计的结果持久化到 Redis 集群或是 DB 中,让大家掌握数据持久化的代码实现。

  那么,接下来,我们去看看本课时所涉及的核心知识点,如下所示:

  下面,我们开始第一个知识点的实践,实现基础层代码模块所包含的内容,如下所示:

  1. 实现思路:先实现这部分功能之前,我们要清楚它的一个实现思路,如右图所示:
    这里,我们在Storm的计算模块中,将相应的KPI统计之后,做对应的持久化,这里我们可以选择
    持久化到我们所选择的DB库当中,图中我们持久化到Redis和MySQL当中,那么接下来,我们按照这个思路 去实现。
  2. 在实现之前,首先我们需要准备好DAO层的代码,这层代码的作用是与DB交互。
  3. 接下来,我去给大家演示这一部分内容。

  下面,我们去实现Storm统计结果存储到DB的相关内容,还模块包含如下所示的内容:

 

  1. 实现思路:同样,在实现这一部分功能时,我们也要清楚,在什么地方去持久化我们统计的结果。如右图所示: 我们在Bolt当中,当我们的KPI指标统计完成后,就可以调用相应的存储代码去持久化这部分统计结果。
  2. 在清楚了思路之后,我们去实现这一部分的入库流程。
  3. 下面我去给大家演示这一部分内容。

  具体演示细节,大家可以参考视频操作,观看地址:《数据持久化

2.4 应用调度

  该部分内容将给大家介绍将开发好的应用打包部署到服务器,通过提交 Topology 到 Storm 集群, 完成 Storm 消费的程序的部署,让大家掌握项目的打包部署以及调度流程。下面,我们去看看实践本课时的内容,所涉及那些核心知识点,如下所示:

  接下来,我们开始对第一个知识点的实践。关于打包所包含的内容,如下所示:

  1. 首先是打包的方式流程,如下图所示:
  2. 使用Maven打包,本项目工程所采取的是Maven结构,这里我们使用Maven命令打包对应的工程。
  3. 下面,我去给大家演示这一部分内容

  下面我们去实践如何将我们打包好的应用部署到Storm集群,去跑相应的任务。 实现该模块所包含的内容,如下所示:

  1. 实现思路。如下图所示:这里我们要清楚它的各个阶段的职责,我们在开发阶段,为了开发的便利以及调试的方便,
    我们可以使用本地提交,就像前面,我们给大家演示的,直接在IDE当中,提交相应的Topology即可。而早生产环境下,
    我们需要依赖集群,利用分布式的思想去跑我们的任务,所以,我们需要使用集群提交,这里在提交任务时,确保Storm 集群是运行正常的。
  2. 那么接着的内容就是去实现相应的提交流程。
  3. 下面,我去给大家演示这一部分内容。

  具体演示细节,大家可以参考视频操作,观看地址:《应用调度

3.总结

  本课程我们对项目的指标进行了编码实践,并指导大家去编码实现了相应的模块功能,以及帮助大家去提交我们开发的应用等知识,应该掌握一下知识:

4.结束语

  我们在有了这些知识作为基础会使得我们在今后的工作当中,开发类似实时统计项目变得游刃有余,更加的得心应手。

  如果本教程能帮助到您,希望您能点击进去观看一下,谢谢您的支持!

时间: 2024-12-28 23:59:48

Kafka项目实战-用户日志上报实时统计之编码实践的相关文章

Kafka项目实战-用户日志上报实时统计之应用概述

1.概述 本课程的视频教程地址:<Kafka实战项目之应用概述> 本课程是通过一个用户实时上报日志来展开的,通过介绍 Kafka 的业务和应用场景,并带着大家搭建本 Kafka 项目的实战开发环境.下面我们来看看本课程有哪些课时,如下图所示: 接下来,我们开始第一课时的学习:<Kafka 回顾>. 2.内容 2.1 Kafka 回顾 本课时简述 Kafka 平台部署的注意事项,以及 Kafka 在企业中的业务场景和应用场景.让大家了解 Kafka 在企业中的使用. 本课时主要包含以

Kafka项目实战-用户日志上报实时统计之分析与设计

1.概述 本课程的视频教程地址:<Kafka实战项目之分析与设计>  本课程我通过一个用户实时上报日志案例作为基础,带着大家去分析Kafka这样一个项目的各个环节,从而对项目的整体设计做比较合理的规划,最终让大家能够通过本课程去掌握类似Kafka项目的分析与设计.下面,我给大家介绍本课程包含的课时内容,如下图所示: 接下来,我们开始第一课时的学习:<项目整体概述>. 2.内容 2.1 项目整体设计 项目整体概述主要讲解一个项目产生的背景,以及该项目背后的目的,从而让大家更好的去把握

Hadoop项目实战-用户行为分析之编码实践

1.概述 本课程以用户行为分析案例为基础,带着大家去完成对各个KPI的编码工作,以及应用调度工作,让大家通过本课程掌握Hadoop项目的编码.调度流程.下面我们来看看本课程有哪些课时,如下图所示: 2.内容 2.1 Hadoop项目基础代码 本课时介绍编写Hadoop基础代码及脚本,在前面搭建好的Hadoop项目工程上, 完成项目的基本代码的编写,以及一些注意事项,为编写核心代码做准备,让大家掌握Hadoop项目的基础代码开发. 本课时主要包含以下知识点,如下图所示: 下面,我为大家介绍Hado

《Hadoop海量数据处理:技术详解与项目实战》一1.1 Hadoop和云计算

1.1 Hadoop和云计算 Hadoop海量数据处理:技术详解与项目实战 Hadoop从问世之日起,就和云计算有着千丝万缕的联系.本节将在介绍Hadoop的同时,介绍Hadoop和云计算之间的关系,为后面的学习打下基础. 1.1.1 Hadoop的电梯演讲 如果你是一名创业者或者是一名项目经理,那么最好准备一份"电梯演讲".所谓电梯演讲,是对自己产品的简单介绍,通常都是1-2分钟(电梯从1层-30层的时间),以便如果你恰巧和投资人挤上同一部电梯的时候,能够说服他投资你的项目或者产品.

Hadoop项目实战-用户行为分析之应用概述(一)

1.概述 本课程的视频教程地址:<Hadoop 回顾> 好的,下面就开始本篇教程的内容分享,本篇教程我为大家介绍我们要做一个什么样的Hadoop项目,并且对Hadoop项目的基本特点和其中的难点做有针对性的剖析,完成项目环境的基本配置,以及项目工程和Hadoop插件的相关准备等工作. 本课程主要包含以下课时,其内容如下图所示: 本节为大家分享的是第一节--<Hadoop 回顾>,下面开始今天的分享内容. 2.内容 从这节开始,我们将进入到Hadoop项目的实战学习,本节课程为大家介

Hadoop项目实战-用户行为分析之应用概述(二)

1.概述 本课程的视频教程地址:<项目整体概述> 本节给大家分享的主题如下图所示: 下面我开始为大家分享第二节的内容--<项目整体概述>,下面开始今天的分享内容. 2.内容 从本节开始,我们将进入到Hadoop项目的整体概述一节学习,本节课程为大家介绍的主要知识点有一下内容,如下图所示: 下面,我们首先来看看项目的整体流程,其流程如下图所示: 项目流程可以分为4个模块,他们分别是数据收集,集群存储,分析计算和结果处理. 下面我分别为大家讲解这4个模块的作用. 我们知道,在做统计时,

《Hadoop海量数据处理:技术详解与项目实战》一1.2 Hadoop和大数据

1.2 Hadoop和大数据 Hadoop海量数据处理:技术详解与项目实战 在人们对云计算这个词汇耳熟能详之后,大数据这个词汇又在最短时间内进入大众视野.云计算对于普通人来说就像云一样,一直没有机会能够真正感受到,而大数据则更加实际,是确确实实能够改变人们生活的事物.Hadoop从某个方面来说,与大数据结合得更加紧密,它就是为大数据而生的. 1.2.1 大数据的定义 "大数据"(big data),一个看似通俗直白.简单朴实的名词,却无疑成为了时下IT界最炙手可热的名词,在全球引领了新

NetHogs——Linux下按进程实时统计网络带宽利用率

网上有很多适用于Linux操作系统的开源网络监视工具.比如说,你可以用命令iftop来检查带宽使用情况. netstat用来查看接口统计报告,还有top监控系统当前运行进程.但是如果你想要找一个能够按进程实时统计网络带宽利用率,那么NetHogs就是你所需要的唯一工具. 1 NetHogs – 网络带宽监控 什么是NetHogs? NetHogs 是一个开源的命令行工具(类似于Linux的top命令),用来按进程或程序实时统计网络带宽使用率. 来自NetHogs项目网站: NetHogs是一个小

linux中NetHogs 实时统计网络带宽利用率

什么是NetHogs? NetHogs 是一个开源的命令行工具(类似于Linux的top命令),用来按进程或程序实时统计网络带宽使用率. 来自NetHogs项目网站: NetHogs是一个小型的'net top'工具,不像大多数工具那样拖慢每个协议或者是每个子网的速度而是按照进程进行带宽分组.NetHogs NetHogs不需要依赖载入某个特殊的内核模块. 如果发生了网络阻塞你可以启动NetHogs立即看到哪个PID造成的这种状况.这样就很容易找出哪个程序跑飞了然后突然占用你的带宽. 这篇文章为