文章讲的是优酷数据架构师：搭建Hadoop平台三步走，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop Summit 2013)将于北京福朋喜来登集团酒店隆重举行。届时，来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。
▲点击进入Haoop中国技术峰会
Haoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。
在此次大会即将召开之际，IT168记者有幸采访到了本次大会的组委会专家，优酷土豆集团数据平台架构师傅杰。其个人专注于大数据基础平台架构及安全研究，并积累了丰富的平台运营经验，同时也擅长Hadoop平台性能调优及诊断各种MapReduce作业。
优酷土豆如何打造Hadoop平台
目前傅杰老师主要负责优酷土豆集团大数据基础平台建设，以支撑集团其他业务团队的存储与计算需求，包含Hadoop平台、日志采集系统、实时计算系统、消息系统以及天机镜系统等。据了解，Hadoop平台在优酷的发展，主要有以下几个阶段：
平台搭建期：这个阶段主要解决一些技术问题，比如安全问题、整体规划，以及制定相关流程；
平台发展期：这个阶段主要是在集团内部进行推广，伴随着会遇到各种各样的需求，以及解决各种各样的问题，修正相关流程，使平台进入一个稳定、高可用的水平；
平台稳定期：这个阶段主要是从优化资源入手，内部培训调优作业，统计资源消耗合理性，构建自动化优化流程。
“现阶段我们主要在调研Hadoop1.X 到Hadoop2.0的升级方案，预计明年初对Hadoop进行升级。今年我们也搭建了基于Storm的实时计算平台、kafka消息系统，推广到集团的线上业务中，也逐步流程化的运营起来了。”傅杰老师介绍说。
新手如何入门Hadoop?
据傅杰老师介绍，目前Hadoop在国内有很好的发展态势，各大企业对Hadoop的需求也比较旺盛，同时，应用Hadoop的行业也越来越多。但目前存在的问题是，Hadoop的优秀技术人才比较短缺。那么对于想踏入Hadoop领域的新手来说，应如何入门呢?
傅杰老师给出的建议是：
1.经常关注Hadoop官方网站;
2.深入了解Hadoop原理，比如HDFS、MapReduce。并思考目前所在企业哪些应用可以用Hadoop解决;
3.阅读Hadoop相关书籍。据悉，目前傅杰老师翻译的《Hadoop实战手册》将在年底出版，这本书也很适合新手阅读;
4.搭建环境实战，比如可以试着跑一个wordcount。
“按照这个顺序去执行，当完成一个具体业务场景的时候，你就会有一定的经验了。个新技术入门简单，但是一个工具的熟练技巧在于你是否经常使用。对Hadoop也是一样，入门根据每个人的背景不同可能只需要1-2天，但真要融汇还是需要实践。”
作为本次Hadoop中国技术峰会的组委会专家， 傅杰老师在本次大会上讲分享的内容是，优酷土豆的实时计算生态，从日志采集到实时转发、再从实时计算到具体业务，着重会谈到各个组件之间的协作，以及安全问题的解决。“近两年Hadoop技术在各大互联网公司已经使用的比较深入，但每个企业的各自的侧重点又可能不一样，大会可以说是组织了一次大交流会，让各行各业的Hadoop使用者聚在一起交流。”
Hadoop中国技术峰会2013是国内基于Hadoop平台的第一次全产业链的大数据行业技术峰会，大会将围绕Hadoop生态系统展开全方位的技术分享、专题讨论与成果展示。大会议题将涉及以下七大方面：Hadoop技术创新、Hadoop基础架构部署与优化、虚拟化与Hadoop、Hadoop在互联网领域的应用、Hadoop在非互联网行业的应用、Hadoop与企业现有IT架构的整合、大数据创业与投资。
更多精彩尽在2013年11月22～23日的Hadoop中国技术峰会(China Hadoop Summit 2013)，北京永泰福朋喜来登酒店。
作者:王晓东
来源：IT168
原文链接：优酷数据架构师：搭建Hadoop平台三步走