《Storm实时数据处理》一2.1　简介

2.1　简介

本章将会展示一个企业日志存储系统的实现方法，以及一个基于Storm处理系统的搜索分析解决方案。其实日志数据处理已经不再是一个需要解决的问题了，但它依然能够帮助我们加深理解这些新概念。
数据流处理在现代企业中是一个主要的架构关注点。但通常情况下，最理想的数据流也只是半结构化的。本章展示了一个企业日志的处理方案，目的是为了让读者学习了解各种重要概念，获得处理各种类型数据的能力。由于日志数据量庞大，因此日志数据也为学术研究提供了极大的便利。对于任何流处理或分析工作来说，其成功的关键都在于深入理解实际数据和获取数据这两项因素上，而这往往非常困难。
因此，如何将架构设计蓝图运用到企业其他形式的数据中，才是读者需要重点关注的问题。

你将学习如何建立日志代理，它可以部署到你环境中的任意节点上。你也将学到如何使用Storm和Redis集中式地收集、分析、索引和统计日志，以便日后搜索和展示它们的基本统计信息。