问题描述

hadoop 设置map和reduce的个数

本人搭建了hadoop的开发环境，一个namenode, 两个datanode,写了一个wordcount的程序,能成功执行，那么问题来了，怎么查看map，和reduce的个数，又怎么人为的控制map个reduce的个数。

解决方案

context.getCounter()
job.setNumReduceTasks(？)

解决方案二：

如果只有1个map-reduce，那map的个数是由文件大小来确定的，64MB一个分片，能划分多少个分片就有多少个map，
老版本的mapreduce可以设置map个数，不过新版本不行。
reduce个数则是job.setNumReduceTasks(n)设置。
如果有多个map-reduce任务，那么第二个map的个数会等于第一个reduce的个数，同理往下推。
可以在https://IP地址:50030 web界面这里查看运行的map-reduce任务它们生成的map和reduce个数。