《Hadoop MapReduce实战手册》一2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况

2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况

Hadoop MapReduce实战手册
Hadoop支持为DataNode数据目录指定多个操作系统目录。此功能使我们能够利用多个磁盘/卷来存储DataNode的数据块。Hadoop将尝试在每个目录中存储等量的数据。Hadoop也支持限制HDFS使用的磁盘空间数量。

操作步骤
下面的步骤将展示如何添加多个磁盘卷。

1. 在每个卷中创建HDFS的数据存储目录。
2. 在$HADOOP_HOME/conf/hdfs-site.xml中，提供了一个逗号分隔的列表，对应于dfs.data.dir目录下的每个卷的数据存储位置的目录。

<property>
　<name>dfs.data.dir</name>
　<value>/_u1_/_hadoop_/_data_,/_u2_/_hadoop_/_data_</value>
</property>

1. 为了限制HDFS的磁盘使用情况，将下面的属性添加到$HADOOP_HOME/conf/ hdfs-site.xml中，以预留空间给非DFS使用。该值指定HDFS每卷不能使用的字节数。

<property>
　<name>dfs.datanode.du.reserved</name>
　<value>60　00000000</value>
　<description>Reserved space in bytes per volume. Always leave
this much space free for non dfs use.
　</description>
</property>