给hadoop新手的一封信:Hadoop入门自学及对就业的帮助

  晚上整理邮箱,找到了一封之前网友的关于hadoop学习的来信以及我的回信,我想应该对初学者会有帮助,就贴出来给大家看看!

  提问:

  你好:

  我是今年年初的时候就像学习hadoop来着,但是中间有段时间去学习了手机android开发。耽误一段时间。

  最近这不才刚跟你联系上。现在我还是有很多疑问。

  1.我学完,做两个例子基本达到入门程度。找工作容易嘛?

  2.我刚进公司的话是直接加入到hadoop的项目吗?

  2.工作待遇工资怎么样。我做了快两年的java web开发。

  3.我现在还上着班,学习只能说是周末跟晚上学习。不知道这样可以不。

  4.学习hadoop许要什么样的基础,java到什么程度啊,linux回到什么程度啊。

  5.学习需要哪些">硬件设备啥的。一台笔记本是不是就够了。

  6.还有个就是跟你学的话,学费是多少啊。毕竟我是去年才毕业的嘛,现在工资也不高。

  希望你看到帮我解答下这些疑问。我是想尽快就能学习。最好是10.1之前就能学完找到hadoop的工作。

  以下是我的回答:

  1. 第一个找工作看你刚开始是注重待遇还是注重方向,现在业界也都在用hadoop,所以说需求是蛮大的,如果想去大公司高薪从事hadoop的工作光靠培训学习是肯定不够的,我给的建议就是你对hadoop的做到比一般的人了解深入,然后以一个新人的态度去加入一些目前想投入hadoop技术的一些中小企业。

  2.学到什么程度你会算有优势呢,第一你得知道hadoop是什么东西,能解决什么问题,这些百度 google都能搜到,需要自己看大量的资料,宏观的了解他,选择一门技术不可能你做2年就又换,所以你得自己理解这门技术是否有前途,未来在哪里,而不是现在大家都说hadoop好,工资高就去学。

  3.工资待遇其实你不用太纠结这个,可以说如果hadoop你研究得够深入,有2-3年这方面的经验年薪20W以上是没什么问题,但是现在你不要太考虑待遇,有些公司待遇不高但是给了你一个平台,应该看中成长空间,看中平台,当然若是在这基础上能多争取点就多争取些,目前这个行业没有具体的标准。看企业,看经验水平。

  4.这个是没问题的,我是10年才开始研究hadoop,可以说研究的不算早,实际上你上班做完公司的事情,你是可以学习hadoop,然后等你差不多对 hadoop 的宏观把握清楚了,你就可以开始投简历了,然后再一遍写hadoop的应用程序,因为在面试的过程中你会了解到他们需要怎么样的人,你还差什么,比自己闷头看书会好点。

  5.java你肯定要很熟练,当然hadoop本身入门不难,但是你想看懂源代码,想深入的理解,你要多多线程,并行化,等概念都要了解,本身hadoop是一个框架,你把他了解透彻了也等于你对java技术已经有了一个系统的掌握了。至于 linux 这个东西遇到不懂就百度,不会有什么难度的。

  6.学习hadoop技术的话一台机器就够了,但是如果要实战的话 最好能弄三台机器。不过你可以先一台的情况下学习。

  7.培训说实在,我也没什么时间,你可以自己先学习,要是遇到一些问题,给我发邮件,我可以给你答疑。

  那么接下来你该这样做:

  1.多看看hadoop的官网,了解官网上都有什么,官网的结构,以后遇到问题懂得去找

  2.第2想办法了解hadoop的原理是什么,网上资源很多,你要搞清楚他包含什么,什么是hdfs,什么是mapreduce,他能做什么。有人问你的时候你能深入浅出的解答。想想你们公司现在的应用哪些是可以用hadoop解决的,为什么?

  3.买一本叫做hadoop权威指南的书看看,本论坛上也有,可直接下载。

  4.以上几点都搞清楚了,开始搭个环境跑一个wordcount

  5.wordcount跑完你就可以改代码了

  按照这个顺序 去执行,当你完成自己的一个业务场景的时候,你就可以去投简历了。

  hadoop 就是一个 存储系统+计算框架的 东东!主要解决海量数据的存储与计算。其他你自己上网查查,我希望你能充分的查阅过一些资料,认真的阅读!

时间: 2024-10-26 20:53:22

给hadoop新手的一封信:Hadoop入门自学及对就业的帮助的相关文章

[Hadoop大数据]——Hive部署入门教程

Hive是为了解决hadoop中mapreduce编写困难,提供给熟悉sql的人使用的.只要你对SQL有一定的了解,就能通过Hive写出mapreduce的程序,而不需要去学习hadoop中的api. 在部署前需要确认安装jdk以及Hadoop 如果需要安装jdk以及hadoop可以参考我之前的博客: Linux下安装jdkLinux下安装hadoop伪分布式 在安装之前,先了解下Hive都有哪些东西. 下载并解压缩 去主页选择镜像地址: http://www.apache.org/dyn/cl

环境-eclipse hadoop 识别不了hadoop的基本数据类型,怎么弄的

问题描述 eclipse hadoop 识别不了hadoop的基本数据类型,怎么弄的 菜鸟,刚刚学习hadoop,配置了环境,看了点代码,却总是识别不了hadoop下的数据类型.就是import org.apache.hadoop.io.*:这个不能成功!!!! 解决方案 是不是没有把所有jar包都导入进入呢?全部都要加进去的加入hadoop-0.20.1-core.jar以及lib下所有的jar以及lib子目录下所有的jar

hadoop-单机Hadoop测试问题,Hadoop学习

问题描述 单机Hadoop测试问题,Hadoop学习 Hadoop在Linux安装完成,如何使用,Hadoop究竟怎么运作,怎么实现单机下测试文件写入写出 解决方案 启动没?hadoop的版本是啥?就这么一句,没法回答 解决方案二: 已经启动了,配置也完成了,版本hadoop1.1.2 但是不是很明白如何使用进行单机测试文件写入写出 解决方案三: http://download.csdn.net/detail/jianjian1992/8805961 这个是我们上课用的课件,里边讲hadoop的

用Hadoop,还是不用Hadoop?

Hadoop通常被认定是能够帮助你解决所有问题的唯一方案. 当人们提到"大数据"或是"数据分析"等相关问题的时候,会听到脱口而出的回答:Hadoop!实际上Hadoop被设计和建造出来,是用来解决一系列特定问题的.对某些问题来说,Hadoop至多算是一个不好的选择.对另一些问题来说,选择Hadoop甚至会是一个错误.对于数据转换的操作,或者更广泛意义上的抽取-转换-装载的操作(译者注:Extraction Transformation Load,ETL,数据仓库中对

满满的技术干货!Hadoop顶级会议Apache Hadoop Summit精华讲义分享

Apache Hadoop Summit是Hadoop技术的顶级会议,这里大咖云集,一同探讨世界上最新的Hadoop发展动态以及产品应用和技术实践. 本文整理了Apache Hadoop Summit  Tokyo 2016上的精选演讲的讲义,无论是你想要的是Hadoop发展前沿,是Hadoop优化技巧,还是技术最佳实践,统统都在这里! [Hadoop Summit Tokyo 2016]Apache NiFi速成课 [Hadoop Summit Tokyo 2016]重建大规模Web跟踪设施

什么是Hadoop,怎样学习Hadoop

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据. Hadoop的框架最核心的设计就是:HDFS和

Hadoop YARN学习之Hadoop框架演进历史简述

Hadoop YARN学习之Hadoop框架演进历史简述(1) 1. Hadoop在其发展的过程中经历了多个阶段: 阶段0:Ad Hoc集群时代 标志着Hadoop的起源,集群以Ad Hoc.单用户方式建立 阶段1:Hadoop on Demand(HOD) 是进化过程中的下一个阶段,以一种通用系统的形式,在商用硬件组成的共享集群上提供和管理私有Hadoop MapReduce和HDFS实例. 阶段2:共享计算集群的黎明 始于大量Hadoop安装转向与共享HDFS实例一起的共享MapReduce

Hadoop掌门人:Hadoop开启数据处理革命

文章讲的是Hadoop掌门人:Hadoop开启数据处理革命,2011年12月2日.3日,Hadoop in China 2011在北京会议中心成功举办.本次大会以"海量数据掘宝"为主题,吸引了来自世界各地的一千余名关注Hadoop的专家.开发者和使用者.[点击查看IT168视频直播专题] 本次大会最大的亮点就是Hadoop的创始人Doug Cutting亲临大会现场助阵.同时,IT168作为本次大会的协办方,在现场采访到了Doug Cutting.在采访中,Doug Cutting分享

新手 求帮助 Hadoop下运行Wordcount报错 求大神拯救 折腾一个星期了

问题描述 $hadoopjarhadoop-examples-1.2.1.jarwordcountinputoutput15/11/1520:03:45ERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:Administratorcause:org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.mapred.SafeModeException:JobTracker