以“技术融合应用创新”为主题的第八届中国云计算大会邀请了众多云计算大数据领域的大咖进行了前沿分享。作为云计算领域的领军人物，华云数据CTO郑军博士以“云的自动化”为切入点，揭开了十年来云从简单应用过渡到复杂的云数据中心的过程中，如何实现各种服务和技术的统一协作。
在云计算之前，大规模分布式系统与计算应该是是网格计算和集群计算。在对比分析之后，云计算的最重要的区别就是自动化和Self-service自服务。应用云的企业，尤其当面对复杂的系统应用时，能做到按需分配和自服务的往往并不多。不管是作为一项服务发布给用户，还是作为其它服务的底层平台系统，能否提供自动化尤为重要，自动化的资源管理、自动化的服务提供、自动化的服务创建和lifecycle管理等等。自动化才是企业应用云计算的最大挑战，关系到云计算使用的难易程度、关系到云计算的可用性，甚至关系到服务性能。
郑军博士表示，云计算的核心之一，就是大型分布式系统的资源管理。可以从两个维度观察云的自动化是如何被推动和发展的。一是虚拟化的发展，从2008年虚拟化热度到2014年Docker出现，轻量级Linux容器实现了对X86服务器资源一个更细粒度的划分，为资源管理提供了更细颗粒度的调度单元。二是软件定义的发展，从软件定义网络发展到今天很大程度上的软件定义一切，软件定义实现了资源调度对象的拓展和延伸。同时，软件定义也打破了硬件和软件的隔阂，能够快速为用户创建无缝服务。从另外一个角度，这提供了基础，使得未来IaaS和PaaS的界限会越来越模糊，二者越来越统一。
当然，云计算的发展更离不开开源。可以说开源软件的发展直接推动了云的发展，没有开源软件就没有云，就没有工业界今天的发展。
未来的服务将由更大型的云数据中心提供，大型云数据中心内部是成千上万的物理服务器和更趋向透明化简单化的硬件处理单元完成。如何在这样的前提下，为一个或复杂或简单的任务，云平台在后台调度聚合成千上万的子任务来协同计算和处理，这是非常有挑战性。当部署多层的分布式系统的时候，如何做到跨层全局统一的管理，包括资源管理等方面仍存在诸多challenge。举例来说，如果部署一个Spark大数据系统，很多用户会选择OpenStack作为最底层架构，Spark通过Mesos、YARN来管理资源，如果再基于Docker进行spark部署，那么这三层资源的调度和综合管理就是很大的问题。工业界还没有一个很好的答案。华云数据在这方面也正在进行实践，设计通用的资源管理系统，对接Spark大数据系统和云平台。
郑军博士也谈到，SDN和NFV近年来的发展也是如日中天，但是在自动化的资源管理方面，SDN和NFV跟Openstack结合，现在没有标准的答案。
那么当企业搭建一个大数据系统时，应该怎么做?郑军博士分享了华云数据在这方面的实践成果。搭建一个真正的生产大数据系统时，所有的逻辑和操作流程大约20个左右，甚至更复杂。部署大数据系统，尤其在云上进行部署时将面临很大的问题。华云数据的实践理念是“事件驱动”。首先通过资源调度，即通过SDN和NFV将底层软硬件打通。它需要一个X86的集群，也需要不同的软件组件。目前华云数据已经做到了“事件驱动”，在华云私有云平台上封装了大数据系统的支撑模块。另外一个维度与服务相关，包括服务聚合和数据自动分析。华云数据正在进行基于此的研发和创新，沿着自助机器学习的方向往前走。
在云计算大会上分享的最后，郑军博士谈了他对云未来发展的三个观点。一是云的加减法，也就是对于用户而言，云变得越来越简单、越来越透明;而对于华云数据这样的云服务提供商来说，需要在纷繁复杂的软硬件资源上提供无缝的聚合服务。第二个观点是云需要更细颗粒度的调度资源和管理机制，实现更广意义的异构资源管理。这可以通过扩展软件定义和Docker等平台系统来实现。第三就是IaaS和PaaS走向融合统一，界限越来越模糊。更多的用户将会融合度更高的全栈解决方案。
所以，为了给用户提供好的服务体验，像华云数据这样的云计算服务商仍然在奋斗的路上。
本文转自d1net（转载）