文章讲的是陈冠诚：Hadoop系统的软硬件协同优化，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会（China Hadoop Summit 2013）于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。
▲IT168专题报道：http://www.it168.com/redian/Hadoop2013/
Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。笔者目前所在的是主题论坛一：架构与实践，下面为大家带来主题演讲的是IBM中国研究院研究员陈冠诚，他演讲的题目是《Hadoop系统的软硬件协同优化》。以下为陈冠诚的演讲实录。
▲IBM中国研究院研究员陈冠诚
Hadoop软件在IBM服务器上的优化
首先分享一下为什么要做软硬件协同一起优化？第一部分硬件体系结构优化。我们IBM研究院是一般大公司目标来说和产品的发布不直接的关联的。它的目标是做新技术的预研，如果你技术确实够好，会提供到IBM里去。我们小组作Hadoop新技术研发过程中发表一些论文，公开资料分享一些设计思想。有些东西可能进入到IBM中去。
在我个人理解中，一个IT解决方案一般经历三个发展阶段，第一个要Work,能够跑起来。确实不少人采用以后，说不能跑的更快一点？原来的太慢了，想办法把性能优化一下。把运营成本降低，就是你的竞争优势。对企业来讲，你开源节流，两条盈利路线，我粗浅的认为这样。大数据的平台能够跑的足够快，尽可能压榨采购硬件的潜力。
到底针对什么样的人群做性能的优化？大部分来讲，处理是GB量的，不是所有的公司都像互联网公司一样，需要处理所谓TB级别，PB级别，几千台机器的规模，不是所有人都适用的。你各种各样行业的客户或者大学，到底日常处理多少量的数据量做你的大数据分析的平台？这是我们需要针对的优化的场景。
如果说不是每个人都处理GB级的级别，可能若干TB就是你的所有的数据了，在这样的平台怎么做系统的优化，这是我们首先给自己设定的权限的范围内。你会强调怎么样在这个环境下把你的性能尽可能压榨出来，这是你想要关注的问题。
作者:陶然
来源：IT168
原文链接：陈冠诚：Hadoop系统的软硬件协同优化