《Spark与Hadoop大数据分析》——2.5　小结

2.5　小结

Apache Hadoop 提供了一个用于大数据存储的可靠且可扩展的框架（HDFS），以及一个用于运行和管理多个大数据应用程序的强大集群资源管理框架（YARN）。Apache Spark 提供了大数据处理的内存级性能，以及用于交互式探索性分析、实时分析、机器学习和图分析的库和 API。虽然 MR 是 Hadoop 上的主要处理引擎，但它有很多缺点，例如性能较差和设计应用程序时不够灵活。Apache Spark 是 MR 的替代品。所有基于 MR 的工具（如 Hive、Pig、Mahout 和 Crunch 等）已经开始把 Apache Spark 作为除 MR 之外的附加执行引擎。

如今，大数据项目正在许多企业中实施，从大的财富 500 强公司到小型初创企业。如果组织能通过易于使用的工具来开发应用和探索数据，从原始数据快速导向决策，那么他们就可以获得优势。Apache Spark 将把这种速度和精巧带给 Hadoop 集群。

在下一章，我们要深入探讨并学习 Spark。