问题描述
- MapReduce的预处理编程问题
-
求大神:刚学MapReduce,我想将一个java程序用MapReduce实行并行化,该java程序执行时先有一个读参数的预处理过程,
然后通过绝对路径读取文件进行鉴定,请问该预处理的过程应该放在MapReduce框架的哪一步?
我想能在所有map之前已经完成这个读参数预处理,在线等大神回复,万分感谢!!
解决方案
public static class MapOne extends Mapper<Object, Text, Text, LongWritable> {
//map执行前需要进行的操作
@Override
public void setup(Context context) throws IOException {
**放在这里**
}
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
}
//map执行后需要进行的操作
@Override
public void cleanup(Context context) throws IOException, InterruptedException {
}
}
时间: 2024-12-03 18:06:00