《Flume日志收集与MapReduce模式》一2.4 小结

2.4 小结

本章介绍了如何下载Flume二进制分发包。我们创建了一个简单的配置文件,里面包含了一个源,它会将内容写到一个通道中,后者又会将其写到一个接收器中。源监听着一个Socket,等待网络客户端的连接,并向其发送事件数据。这些事件被写到一个内存通道中,然后被写到一个log4j接收器中,从而成为输出。接下来,我们使用Linux netcat工具连接到监听代理上,向Flume代理的源发送一些字符串事件。最后,我们验证基于log4j的接收器成功将事件写出。
下一章将会详细介绍在数据处理工作流中会用到的两个主要通道类型:

  • 内存通道
  • 文件通道

对于每一种类型的通道,我们都会介绍所有相关的配置,何时以及为何要覆盖默认值,更为重要的是,我们会介绍在何种场景下该使用哪一种通道。

时间: 2024-10-25 15:38:28

《Flume日志收集与MapReduce模式》一2.4 小结的相关文章

《C程序员从校园到职场》一导读

前言 C程序员从校园到职场 在刚入职的时候,我与一个工作多年的老员工之间有以下一番对话. 老员工:"你的C语言功底如何?" 我:"还可以,考试考了九十多分." 老员工:"你觉得编码规范重要吗?" 我:"什么编码规范?我之前没听说过呢." 老员工:"你觉得把代码写完并运行通过,你的工作就算结束了吗?" 我:"差不多吧,在学校里面程序运行没问题就OK了." 老员工:"对于测试,你是

《C程序员从校园到职场》一第1章 概述1.1 C语言的发展历史

第1章 概述 C程序员从校园到职场 本章介绍C语言的发展历史和主要特点,以及实际项目工作中软件开发工程师常用到的工具软件. 1.1 C语言的发展历史 1.1.1 C语言之父 C语言是1972年由美国贝尔实验室的计算机科学家Dennis Ritchie(丹尼斯·里奇)设计发明的.因此,Dennis Ritchie被誉为"C语言之父"(他已于2011年10月9日去世,享年70岁).图1.1所示的人物就是Dennis Ritchie. 图1.1 "C语言之父"Dennis

《C程序员从校园到职场》带领大家从校园走向职场

七夕节刚过,就有好消息传来:本人新书<C程序员从校园到职场>正式出版并在各大电商平台上发售了! 下面,让我们一起来欣赏一下纸质书的"风采"吧. 本书目录 第1章 概述 1.1 C语言的发展历史 1.2 C语言的主要特点 1.3 常用工具软件 1.4 小结 第2章 学校到职场 2.1 认清自身不足 2.2 破除错误观念 2.3 工作所需软技能的培养 2.4 小结 第3章 程序的样式 3.1 头文件 3.2 源文件 3.3 空格和空行 3.4 大括号 3.5 注释 3.6 小结

《C程序员从校园到职场》一第2章 学校到职场2.1 认清自身不足

第2章 学校到职场 C程序员从校园到职场 踏出校门,对于我们整个学习生涯来说,只是"万里长征走出了第一步".为了使得之后学习和工作的道路走得更加顺畅,我们需要认清自身所学知识的不足,我们需要破除一些有关软件开发的错误观念,我们更需要在学校里面就未雨绸缪地开始培养工作所需的一些技能. 2.1 认清自身不足 我在走出校门的时候非常"轻狂",认为自己在学校里面已经学得够多了,工作就只是"小菜一碟".但在工作中屡次碰壁之后,我才发现自己当时的很多想法都是

《C程序员从校园到职场》勘误

(本人正在参加2015博客之星评选,诚邀你来投票,谢谢:http://vote.blog.csdn.net/blogstar2015/candidate?username=zhouzxi) 自从<C程序员从校园到职场>一书上市以来,受到了大家的欢迎,很多读者通过各种途径向我反馈了读书心得,在此表示感谢.但"金无赤足,人无完人",书中的内容也存在一些纰漏.本文用于持续收集目前发现的本书的一些问题,也希望大家将对本书的一些意见或改进建议及时告知我. 本书的勘误如下: 1.P5,

《C程序员从校园到职场》一2.2 破除错误观念

2.2 破除错误观念 要让我们做事情的能力能够有所提升,观念的转变是关键. 从学生转变为职业人的过程是很艰难的,因为我们要与自己积累了多年的"老毛病"作斗争,这些"老毛病"包括:做事拖拉.不守时.不遵守规则.怕吃苦等.就像发射火箭卫星一样,摆脱重力的束缚所花费的燃料是最多的,一旦成功,那么以后的流程就会比较轻松了.所谓"万事开头难",也就是这个道理. 那么,要想掌握工作中C语言的基本技能,我们需要破除哪些错误观念呢?如图2.1所示. 图2.1 我

《C程序员从校园到职场》一2.3 工作所需软技能的培养

2.3 工作所需软技能的培养 在新员工刚进入公司的时候,一般都会有一段时间的试用期,也叫做培训期.对于大部分IT企业来说,这个试用期大体分为3个阶段:第一阶段,企业文化.办事流程.公司业务范围等的培训:第二阶段,工作所需专业知识的培训:第三阶段叫做"以师带徒",也就是由一位老员工带着来从事具体的开发工作. 但是,我们不能奢望通过这个短短的培训期就能够将工作中所需的技能全部掌握,因为学习重在长期的积累,个人习惯的改变更是一个漫长而痛苦的过程.这就需要我们在学校里面就有目的性地培养工作所需

《C程序员从校园到职场》一1.2 C语言的主要特点

1.2 C语言的主要特点 C语言是一种功能强大的.被广泛应用的面向过程的编程语言,可用于编写系统软件和应用软件. C语言的主要特点如图1.4所示. 如图1.4所示,C语言的诸多特点使其越来越受到广大软件开发人员的青睐,也使其成为了使用人数最多的计算机编程语言之一.学习好C语言,对于深入学习计算机科学的其他课程都是很有好处的. 图1.4 C语言的主要特点

《C程序员从校园到职场》一1.4 小结

1.4 小结 本章对C语言的发展历史.C语言的主要特点,以及软件开发工程师常用到的工具软件进行了详细的介绍.本章对后续章节起到了一个抛砖引玉的作用.

《C程序员从校园到职场》一2.4 小结

2.4 小结 本章作为一个过渡章节,从认清自身所学C语言知识的不足入手,接着让大家破除几个有关软件开发的错误观念,然后让在校学生有意识地培养工作所需的一些软技能.认清自身的不足让人谦虚,破除错误观念让人不惑,培养技能让人信心百倍.现在,我们可以正式开启软件项目实践中C语言的学习征程了.