《Hadoop MapReduce实战手册》一2.6 设置HDFS块大小

2.6 设置HDFS块大小

Hadoop MapReduce实战手册
HDFS跨集群存储文件时，会把文件切分成粗粒度的、大小固定的块。默认的HDFS块大小为64 MB。数据产品的块大小会影响文件系统操作的性能，如果存储和处理非常大的文件，那么较大的块大小会更高效。数据产品的块大小会影响MapReduce计算的性能，因为Hadoop的默认行为是为输入文件中的每个数据块创建一个map任务。

操作步骤

1. 要使用NameNode的配置文件来设置HDFS的块大小，需要在$HADOOP_HOME/conf/hdfs-
   site.xml中添加或修改以下参数。块的大小用字节数提供。这种修改不会改变那些已经存储在HDFS中的文件的块大小。只有在参数修改后新复制的文件才有新的块大小。

<property>
　<name>dfs.block.size</name>
　<value>134217728</value>
</property>

1. 要为特定的文件路径指定HDFS块大小，你可以在命令行上载文件时，通过如下参数指定块大小：

>bin/hadoopfs -Ddfs.blocksize=134217728 -put data.in /user/foo
更多参考
还可以使用HDFS Java API在创建文件时指定块大小。

publicFSDataOutputStream create(Path f,boolean overwrite, int bufferSize,
short replication,long blockSize)

可以使用fsck命令来查找特定文件路径的块大小和数据块在HDFS中的存储位置。也可以通过从HDFS的监控控制台浏览文件系统，找到这些信息。

>bin/hadoopfsck /user/foo/data.in -blocks -files -locations
...
/user/foo/data.in 215227246 bytes, 2 block(s): ...
0. blk_6981535920477261584_1059len=134217728 repl=1 [hostname:50010]
1. blk_-8238102374790373371_1059 len=81009518 repl=1 [hostname:50010]

...