Explain
Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPlanDumper,这部分实现为我们设计执行计划可视化提供了参考。 下图部分截取了使用Graphviz打开物理执行计划DOT文件之后生成的图。(Graphviz介绍请参考http://zh.wikipedia.org/wiki/Graphviz)
Illustrate
Illustrate比Explain更进一步,它还会根据具体语句表达式条件自动生成适合执行计划的样本数据,并模拟执行,将每一步的结果按照表格输出,模拟一次完整的数据处理流程。代码实现详见org.apache.pig.pen.Illustrator。
PigContext
PigContext类包含Pig执行过程各个阶段需要的上下文基本信息,PigContext从前端传递到后端,一直到Hadoop Job阶段都可用。在Map&Reduce的初始化方法中,从Hadoop Configuration中获取PigContext。
pigContext= (PigContext)ObjectSerializer.deserialize(job.get("pig.pigContext"));
PigContext中比较重要信息有:
execType:执行类型,local/mr。
HExecutionEngine:后端执行引擎。
Script files/各种jar包等。
definedFunctions:funcName与funcSpec的映射。
dataStorage:文件系统接口,dfs&lfs。
查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/database/storage/
以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索graphviz
, pig
, 输出
, dot
, pigserver,pig
, Dot类
, Explain
参考
java实用工具类、mybatis 实用 工具类、pigcms微店系统、death of a pig 分析、系统配置实用程序,以便于您获取更多的相关知识。