第 2 章 Hadoop参数概述
Hadoop MapReduce性能优化
第 2 章 Hadoop参数概述
一旦运行了Hadoop作业，了解集群资源是否得到了充分的利用就非常重要了。幸好，Hadoop框架提供了几个参数，可以用于对作业进行调优并指定作业在集群上的运行方式。
性能调优涉及4个方面：CPU利用率、内存占用情况、磁盘I/O和网络流量。本章会描述与这几个方面相关的大多数参数，然后介绍优化Hadoop执行的技术并定义一些配置参数。
拥有效率监测工具至关重要，当问题正在发生或者已经发生时它会发出警告，并且给出可视的指示来表明Hadoop集群正在做什么以及做了什么。本章将重点介绍使用配置参数进行Hadoop性能调优的方法，并介绍几款监测Hadoop服务的工具。
本章将介绍以下内容：
- 研究Hadoop的可调参数；
- 与CPU利用率、内存、磁盘I/O以及网络相关的Hadoop配置参数；
- Hadoop性能指标；
- Hadoop监测工具。
时间： 2024-09-19 09:14:50