Hadoop源码学习

这一系列文章,算是自己的读书笔记。

-------------------------------------------------

## 我是如何阅读源码

- 1. 推荐大家看董西成的Hadoop技术内幕,我写的笔记大部分摘抄总结自这本书。

- 2. 自己阅读源码、基于hadoop1.0.3的源码

- 3. 网上其他网友的总结、博客

## 关于本博客

由于CSDN不支持markdown,所以本博客已迁移至http://edwardsbean.github.io、但是也会同步到CSDN就是了。

## 关于我

2014届应届生、目前负责某公司大数据平台架构设计、搭建、维护。啥都干,当锻炼就是了。博客会陆陆续续贴出自己在生产环境上的问题以及解决方案。

欢迎大家和我共同学习交流、指教、进步。

时间: 2024-09-15 00:13:24

Hadoop源码学习的相关文章

Hadoop源码学习:RPC

Hadoop源码学习:RPC Hadoop RPC使用java NIO编写,达到高性能,轻量级,可控性. 主要分为四层:序列化层,函数调用层,网络传输层,服务器端处理框架 序列化层:实现Writable接口 函数调用层:java反射机制和动态代理实现函数调用 网络传输层:使用Socket机制 服务器端处理框架:基于Reactor设计模式的事件驱动I/O模型 如何使用Hadoop RPC: RPC Server: 1.定义一个协议,实现VersionedProtocol接口, public int

eclipse indigo-求助:Hadoop源码导入问题

问题描述 求助:Hadoop源码导入问题 新手:配合源码学习使用,从远程svn上检出老版本hadoop1.0.0的代码,导入到eclipse 3.7 indigo版本,项目中一直提示少org.eclipse.*下的某个包,已经手工下载导入部分,仍缺,但是感觉不应该这样处理,与eclipse版本或者项目里的ant依赖有没有关系,之前一直用maven构建项目,对ant不熟

hadoop源码怎么分析呢

问题描述 hadoop源码怎么分析呢 本人想分析下hadoop源码,请问怎么开始分析呢,推荐书或者方法吧. 解决方案 目前市场上书推荐的话 就看看 hadoop技术内幕吧 一共三卷,其他的书 感觉不太爽,华章的书籍,算不错吧, 书中分析了源码 不过是1.0 版本的. 根据书 分析起来比较快. 学习下并发编程是很不错的,有利于自己编码能力的提高,

Hadoop大象之旅010-使用eclipse查看hadoop源码

Hadoop大象之旅010-使用eclipse查看hadoop源码                                                                老帅 我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到: 官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/   1.将hadoop-1.1.2.tar.gz解压缩 文件夹结构如下所示:   2.在My

STL源码学习——Lists(链表)

STL源码学习--Lists(链表) 今天突然想起来看看开源项目,找了找最后决定好好看看经典的STL喵~ 和STL里的代码比起来我突然觉得以前写的代码也太不规范了喵,估计很多ACMer都一样吧喵. 先从简单的看.先挑了一发list的源码来看.总结如下: 欢迎大家一起讨论喵~ 1 :list是用双向循环链表实现的,就是说 list.end()+1 == list.begin() 2 :list中有一个关键结点,这个结点是 list.end() 3 :在看了list中的erase函数后,发现这个函数

Redis源码学习——BIO

Redis源码学习之BIO BIO顾名思义,background IO,是redis中运行的后台IO. 网上千篇一律的说法是redis是单线程单进程. 实际上redis运行过程中并不是严格单进程单线程应用.Redis中的多进程: 在写入备份(RDB,AOF)的时候,会fork出子进程进行备份文件的写入.Redis中的多线程: AOF的备份模式中,如果我们设置的是AOF_FSYNC_EVERYSEC(每秒备份一次,这个设置可理解为弱同步备份),redis会create一个backgroud线程,在

DotText源码学习——ASP.NET的工作机制

--本文是<项目驱动学习--DotText源码学习>系列的第一篇文章,在这之后会持续发表相关的文章. 概论 在阅读DotText源码之前,让我们首先了解一下ASP.NET的工作机制,可以使我们更好的理解.ASP.NET是Web服务器(IIS)的 ISAPI(Internet Server API)扩展.当IIS接收到客户端浏览器发来的请求后,它根据请求的文件类型确定由哪个ISAPI扩展来处理该请求,并将请求转发给ASP.NET(如 果是ASP.NET处理的相应文件类型的话,如*.aspx.*.

Java集合源码学习(二)ArrayList分析

Java集合源码学习笔记(二)ArrayList分析 1.关于ArrayList ArrayList直接继承AbstractList,实现了List. RandomAccess.Cloneable.Serializable接口, 为什么叫"ArrayList",因为ArrayList内部是用一个数组存储元素值,相当于一个可变大小的数组,也就是动态数组. (1)继承和实现 继承了AbstractList,实现了List:ArrayList是一个数组队列,提供了相关的添加.删除.修改.遍历

java-Eclipse里如何debug跟踪MapReduce程序到hadoop源码里?

问题描述 Eclipse里如何debug跟踪MapReduce程序到hadoop源码里? 我本地一台机子起了 4504 ResourceManager 4066 DataNode 4761 NodeManager 5068 JobHistoryServer 4357 SecondaryNameNode 3833 NameNode 5127 Jps 在hadoop-env.sh里设置了HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_