MapReduce V1：JobTracker端Job/Task数据结构

一个TaskInProgress包含的TaskAttemptID的集合。
一个Task（MapTask/ReduceTask）可能包含多个TaskAttemptID在TaskTracker上运行，比如一个
ReduceTask在TaskTracker上运行，同时可能存在一个推测执行的ReduceTask，他们对应了2个不同的
TaskAttemptID。

维护了当前运行的Task，该Task运行在哪个TaskTracker上。

记录了某个cleanup task在哪个TaskTracker上。

满足如下3种条件的Task会被加入到该数据结构中：

• this.failed)
  || ((job.getStatus().getRunState() != JobStatus.RUNNING &&
  (job.getStatus().getRunState() != JobStatus.PREP))
• isComplete() && !(isMapTask() && !jobSetup && !jobCleanup && isComplete(taskid))
• isCommitPending(taskid) && !shouldCommit(taskid)

该数据结构用来辅助判断，是否一个Task已经完成（成功/失败），需要被TaskTracker终止掉，这个需要JobTracker发送KillTaskAction指令，通知TaskTracker终止该Task运行。

记录了某个Task是否需要被Kill掉。

记录了执行Task失败的TaskTracker的host信息。

JobTracker端维护了某个Node上，没有运行的MapTask列表的信息。
在调度MapTask之前，需要计算某个MapTask将要运行在哪些Node上，这里维护了某个Node所对应的没有运行的MapTask的列表信息。

JobTracker端维护了某个Node上，当前正在运行的MapTask列表的信息。

JobTracker端维护的、非Local，并且还没有运行的MapTask的列表。

JobTracker端维护了失败的MapTask的信息，在该集合中的TaskInProgress基于失败次数降序排序。
当某个MapTask失败以后，就会被放到该集合中，后续重新调度MapTask运行时，会检索该集合。

JobTracker端维护的、 非Local、正在运行的MapTask保存在该数据结构中。

JobTracker端维护的、没有运行的ReduceTask的列表。

为MapTask运行的cleanup task列表。

为ReduceTask运行的cleanup task列表。

TaskCompletionEvent是用来跟踪Task完成事件的数据结构，该列表结构保存了TaskCompletionEvent。
当一个Task的状态为TaskStatus.State.SUCCEEDED/TaskStatus.State.FAILED/TaskStatus.State.KILLED的时候，会创建一个对应的TaskCompletionEvent对象，根据该对象来更新JobTracker端维护的Task的状态信息。

TaskTracker发送心跳的时候，会将TaskTracker的状态信息发送给JobTracker，状态信息通过TaskTrackerStatus表示，该对象中包含了Task的报告信息TaskStatus。如果是在运行ReduceTask时，抓取MapTask输出的结果失败时，会在根据Task报告信息，更新JobTracker端维护的mapTaskIdToFetchFailuresMap，记录了Task抓取MapTask输出失败的次数计数信息。

TaskType枚举类型定义如下：

该firstTaskLaunchTimes数据结构保存了某个TaskType类型第一次运行的时间戳信息。

FallowSlotInfo包含了空闲的slot信息，主要九个包含了空闲的slot的个数信息。
该数据结构维护了在某个TaskTracker上为MapTask运行所预留的空闲slot的信息。

该数据结构维护了在某个TaskTracker上为ReduceTask运行所预留的空闲slot的信息。

通过ServicePlugin接口，可以基于任意的RPC协议暴露DataNode或NameNode的功能。
通过配置项mapreduce.jobtracker.plugins可以设置ServicePlugin，JobTracker启动的时候会加载初始化配置的ServicePlugin。

JobTracker维护了一组JobInProgressListener监听器，在JobTracker运行过程中，发生某些事件会触发注册的JobInProgressListener的执行。比如，JobClient提交一个Job，JobTracker端会触发对应的JobInProgressListener调用jobAdded()初始化该Job；比如，Job执行过程中状态发生变更，会触发JobInProgressListener调用jobUpdated()执行；比如，Job运行完成，会触发obInProgressListener调用jobRemoved()执行。
JobTracker初始化时会创建TaskScheduler，而启动TaskScheduler的时候，会把TaskScheduler所维护的JobInProgressListener添加到jobInProgressListeners列表中。

JobTracker维护一个JobID->JobInProgress映射的列表，JobID标识一个提交的Job，JobInProgress是JobTracker端维护的Job的所有信息的数据结构。在如下情况下，会检索/操作该jobs数据结构：

• JobClient提交Job的时候，会创建JobInProgress，并加入到jobs集合中
• JobClient远程调用Kill掉指定Job的时候，会根据JobID从jobs中获取JobInProgress信息，并Kill掉该Job，更新状态信息
• JobClient查询当前运行的所有Job信息时，会检索jobs列表
• 在JobTracker端检索一个Job所维护的Task信息时，会根据JobInProgress所维护的数据结构获取到对应的Task的信息TaskInProgress
• Job运行状态不为RUNNING，并且也不为PREP，并且完成时间早于当前时间，会将Job从jobs列表删除
• JobTracker解析接收到的TaskTracker发送的心跳的过程中，会检索并更新jobs列表中的Job信息，找到可以分配给该TaskTracker的属于满足条件的Job所包含的Task

用来跟踪某个用户提交的需要运行的Job集合的数据结构。
当Job完成（success/failure/killed）后，会在JobTracker内存中保存一些Job，这些Job属于哪些用户的。默认情况下会保存MAX_COMPLETE_USER_JOBS_IN_MEMORY=100个用户的已完成的Job，当超过该值时，会清理掉最早的用户以及对应的完成的Job信息。
可以通过配置项mapred.jobtracker.completeuserjobs.maximum来设置该值。

用来跟踪某个TaskTracker上运行的Job集合的数据结构。
当一个Job已经运行完成，TaskTracker需要知道哪些运行在该节点上的Job已经完成，并等待通知进行清理，这时会在JobTracker端检索该Map，取出该TaskTracker对应的需要进行清理的Job的集合。
另外，还有一种情况，当JobTracker一段时间内没有收到TaskTracker发送的心跳报告，这时会将该TaskTracker对应的Job集合从trackerToJobsToCleanup中删除，后续会重新调度这些运行在该有问题的TaskTracker上的Task（这些Task属于某些Job，JobTracker分配任务的单位是Task）。

用来跟踪某个TaskTracker上运行的Task集合的数据结构。
当Job运行完成（成功或者失败）后，一个TaskTracker需要知道属于该Job的哪些Task运行在该TaskTracker上，需要对这些Task进行清理。JobTracker端会查询出这类Task，并通过心跳的响应，向对应的TaskTracker发送KillTaskAction指令，通知TaskTracker清理这些Task运行时生成的临时文件等。

TaskAttemptID用来标识一个MapTask或一个ReduceTask，通过该数据结构可以根据TaskAttemptID获取到MapTask/ReduceTask的运行信息，也就是TaskInProgress对象。
当需要检索MapTask/ReduceTask，或者对JobTracker端所维护的该Task的状态信息进行更新的时候，需要通过该数据结构获取到。

维护TaskAttemptID到TaskTracker的映射关系，可以通过一个Task的ID获取到该Task运行在哪个TaskTracker上。

一台主机上，可能运行着多个TaskTracker进程，该数据结构用来维护host到TaskTracker集合的映射关系。如果一个host被加入了黑名单，则该host上面的所有TaskTracker都无法接收任务。

某个TaskTracker上都运行着哪些Task，通过该数据结构来维护这种映射关系。

在某个TaskTracker上都运行完成了哪些Task，通过该数据结构来维护这种映射关系。

TaskTracker会周期性地向JobTracker发送心跳报告，最近一次发送的心跳报告，JobTracker会给其一个响应，最后的这个响应的数据保存在该数据结构中。

JobTracker维护了一个网络拓扑结构（NetworkTopology），组成该拓扑结构的是一个一个的Node，每个Node都包含了网络位置信息、继承关系信息、名称等。
每个TaskTracker都是整个Hadoop集群的一个节点，通过该数据结构维护了TaskTracker在集群拓扑结构中相关信息。
比如，根据给定TaskTracker ID，从hostnameToNodeMap中检索出其对应的Node信息，在调度一个Job的MapTask运行时（MapTask运行具有Locality特性），可以基于local、rack-local、off-switch的顺序优先选择前面的Node运行该MapTask。