毋庸置疑，大数据的管理如今已然成为了企业开发社区内的一个热门话题。但是为何对于大数据的探讨成为一种热门现象会出现得这么晚？为何在过去这么长时间里大数据的处理都没能成为一个企业工具集的一部分？这是否意味着如今的信息技术生态系统才让大数据解决方案变得像现在这么明智？
大数据管理现在这么热门的其中一个关键原因，不需要多说，就是大部分组织不得不对处理日益增长的海量数据进行管理。从互联网搜索引擎，到具有庞大信息量的检索，再到基因科学或大气科学的研究项目，人们关注并尝试进行的数据量变得越来越庞大。曾经对于兆字节数据的处理就已经是很惊人的期望了，但是跟现在组织面对的千万兆字节比起来，显得实在太过苍白无力了。
处理能力是关键。一方面它要有能力存储巨大量的数据;另一方面它要能够进行处理。毕竟，如果它不能挖掘出来，但用什么来存储数据?谈到数据挖掘，我们讲的心比挖掘煤矿还快的速度处理数据。如果我们不能在合理的时间内，从数据中找到有意义信息，那么它就是无用的。
现在，管理大数据非常可行，因为处理能力可以负担得起。过去，财富500强公司需要稀释他们的股份和发行更多普通股，为了能够购买多元处理器，这样就能够存储兆兆字节的数据。但是现在一个小学生，用他的零用钱就可以买到等价处理能力的处理器。
另外，确实没有和过去一样的需求，需要出去从像Oracle和IBM那样的公司中，购买大的硬件和令人印象深刻的工作站。而一个明智的IT部分可以从网上轻而易举的购买到上百个主板和多核处理器，并以历史上最低价从台湾直接装运过来。改道开源软件可以用来把各种各样的主板、处理器编成组，而国产的处理能力可以以千兆位字节吞噬掉非结构化的数据。
伴随着处理能力，免费软件也有能力强化了大数据运动。HBase之类的工具可以用把大数据存储在单一数据库表中，或海量数据库表中，海量数据库表可以扩展出数十亿的行和数以百万的列。从那里，如果你有兴趣挖掘你HBase数据，Hadoop可以帮助你处理那些海量数据集，并理解其不断积累的信息。
“如果想得到特殊的东西，你可以访问，你可以访问HBase领域的数据;但如果想获得关于分析的一些数据，比如说，你希望在数十亿的记录中，找到出某个星球的平均年龄，那么你可以使用Hadoop。”Java之父，James Gosling说。“它最终会非常快速并且非常高效。”
累积的大量数据池、处理能力的负担能力和专业化软件的可用性，这三大理由不仅使“大数据”成为互联网的一个敏锐话题，也成为了管理信息的一个可行方法。结合了廉价的处理能力，并且能够免费的下载，通过像Hadoop和HBase这样的开源软件解决方案，企业架构师们有更新，更有效的工具来处理在大数据了。随着越来越多的公司从一系列不同的出入中，收集了更多的信息，使得大数据处理能力达到前所未有的巅峰。
