华云CTO郑军：云计算技术发展趋势与挑战

ZD至顶网网络频道 05月20日 北京报道（文/李超）：5月18-20日，由中国电子学会主办，ZD至顶网协办的第八届中国云计算大会在北京国家会议中心隆重举办。在20日上午的主会场中，来自华云数据集团的首席技术官郑军分享了主题为“云计算技术发展趋势与挑战”的精彩演讲。

华云数据集团首席技术官 郑军

郑军在演讲中就云计算技术发展的未来与趋势做了详细深刻的探讨。他讲到：“云计算的核心之一，其实就是大型分布式系统的一个资源管理。大家试想一下，目前云在中国正处于一个蓬勃发展的时期，我个人认为，未来公有云将向大型数据中心靠拢，以大型化、规模化为代表的云计算将成为未来云计算发展的趋势，因为云必须要上规模，所以在这个前提下，我们的资源管理会把软件和资源无缝的管理起来。”

以下是郑军的演讲实录：（以下内容根据现场速记整理，未经发言嘉宾确认，仅供参考，谢绝转载。）

郑军：非常高兴能够参加我们的第八届中国云计算大会。其实几乎参加了所有的中国云计算大会，非常有感情。就是说整个目睹了我们中国整个云计算从概念到落地一直到今天，我觉得这届大会的主题也非常好，技术融合应用创新。云计算发展到今天，我们思考碰到什么样的问题？有什么样的经验去总结。下一步我们应该对于产品、技术应该怎么走？我觉得今天可能我只是一个抛砖引玉。技术趋势这个话题比较大，我今天更加集中一些，主要是从云计算产品和技术的角度，从自动化的角度探讨云计算的技术发展。因为我原来上学做数据挖掘，后来一直在做虚拟化和整个云的基础设施研究工作。从我个人和整个华云数据研发的经验出发，能够探讨一下云计算的问题。我更希望从云的自动化以及性能，以及目前我们看到了不同的新技术。NFV、Docker、Openstack所有的问题从一个方法论去分析，我今天就是想讨论这些。

开始之前我们想一个问题什么？刚才姚教授也谈了，包括前面几个嘉宾在谈AI机器学习和人工智能，以及深度学习。今天我们看到软件工业发展到今天面临什么问题？整个从我个人理解，物理世界，包括我们在的实体的人和生物界慢慢要把软件代码建立一个统一的影像。就是说大家看到我们手持的电子设备，不管是手机还是家里的各种设备，你的微博、微信，你的EMALL，还有一些语音电话等等，你的情感包括你个人的物理世界，都能够通过数字重现出来。大数据有一个名词叫什么呢？就是画像，如果演着这个思路去看，今天看到移动计算，把我们个人生活，不管是O2O，还是移动计算的APP应用起来，已经深入到我们生活当中。未来的企业也是产生更加互联网化、云计算深度使用，让物理生产通过软件构建和加速。可能未来真的是这样，就是很难区分一个真实的模拟世界，如果人工智能发展足够好，你很难区分模拟世界和真实世界的区别。所以前提下什么导致这样一个飞速的发展。今天我们看到人工智能包括机器学习经过了几十年的发展，为什么这两年又突然出现了，大家可能了解，包括AI这东西，发展了几十年经过了几个起起伏伏的波折，今天从2015年又进入了爆发发展的态势，是什么导致这东西的出现，我们经常会思考。

我们从云和大数据角度来看，更多的是云计算高性能、这种海量的数据中心，这种大型的数据中心带来能量的飞跃，给我们整个的计算，我说的计算是广义的计算。包括人工智能和算法飞速的提升。原来我上学的时候就想把人工智能，那时候是把人工智能还有一些算法，用于高速的互联网数据分析，那个时候其实你做实时的AI非常非常难。但是我们今天看到超级计算、远程大型数据中心诞生，所有你的APP有足够的资源，就像前一段时间人机对弈，可能上百万物理计算机实时性无法弥补。当然我们今天看过来，在今天的云和大数据支撑下，重新焕发出了战斗力和生命力。

其实我今天讨论学术，七十从工业界产品的角度对比，这个图可能有点。我们看到云之前是网络计算，是集群计算，云最重要的一个特征区别于它之前的基础是什么？我们看到有两个属性。在今天跟我们话题相关，一个是（英文）云发展了十年，今天是2016年，真正的（英文）大家想象一下，如果你是一个重度的云使用者，如果你是企业云，不管是私有云还是公有云，真正做到on－demand self－service能有多少呢，尤其是考虑复杂系统的应用，其实不是很多。为什么这么讲？一会通过大数据，给大家分析一下，我们目前面临的挑战。

说了云更多的是作为后台系统，我们看到一个黑盒系统，对于广大的应用者成千上万的服务器，还是在广州、北京、上海大型数据中心我只关心数据的性能。从这角度来讲，你能不能给用户提供简单的无缝的服务、实时的。通过自动化的形式，把各种资源给它整合起来，我觉得今天的话题主要是围绕这个。当然如果有时间，各位有兴趣，从高性能，从安全不同的纬度，看到我们云计算发展不同的脉络。所以从众多的属性当中，我们看到自动化，到底通过自动化这方向或者这渠道能够看看云计算发展的趋势和问题是什么。

首先看这个图，就是说我们从两个纬度观察云的自动化，或者云计算的发展，大家清楚的记得，虚拟化应该是从2008年，那时候开始进入一个热度的使用，到后来的2010年以后KVF的涌现，所以从这角度我们看到云自动化非常有意思的过程。后来直到2013年我们看到了，都能熟悉的Docker出现，其实我想说的什么呢？Docker为什么重要？就是改变原来以VM区分资源的分割，所以从这个角度来对X86进行更细的划分。从这角度出发你可以看到Docker有成功的必然性。我看到外围的软件，当然Docker的定位不同所导致的。所以从这个角度来讲，我们看到对X86物理服务器，甚至物理计算资源区分的越好，就像手术刀一样，我们看到通过物理资源的切分越细，我们可以调度的物理资源越细致，你可以形成自动化的服务，当然就可以更好。

所以说我一直认为，就是说云计算的核心之一，其实就是大型分布式系统一个资源管理。大家你会想一想，当然说中国现在经历了特殊的国情，自由云在中国蓬勃的发展，我们认为未来，尤其我个人认为，公有云大型数据中心，以大型化、规模化代表的云计算的趋势肯定是未来得发展，因为云必须要上规模，所以在这前提下，你的资源管理、各种软件、资源的无缝管理起来。

第二个我想从软件定义的角度去谈。刚才有一位专家软件能不能定义世界，这个问题个人都有自己的回答。软件可能是SDN第一个出来，但是今天发展到SDX，软件定义Everything大家可以想一想，为什么能够这样的成功，有一些人不认为它成功，或者还在路上。但是我们看到存在就是热点的东西，它的成熟和发展代表了一种方向，为什么？它打破了资源调度和界限。你想想十年前、八年前网卡的资源，不管PCI设备、DMA等等，能通过脚本、软件的驱动，能够无缝跟整个的数据库结合起来，跟大数据的应用那是很难相信，但是直到今天做到非常容易。

在这里我给大家讲一个小故事，这是真实的。就是说原来我是经历过，原来给AT&T产品做系统。你知道Iphone做IOS升级，一到升级那几天大家都上不去网，数据压力导致蜂窝网的崩溃。后来我们想能不能通过软件远程控制和自动化，通过脚本自动出发实现。电信网的升级是非常难，有的时候长达一两个月，那时候我们就想能不能通过办公室对纽约地区基站和网络设备进行自动软件与功能升级。我们在远程通过一个脚本远程触发这升级，那时候这样一个项目价值一个多亿美元，我们找了世界上当时做软件自动化的公司提供一部分软件，这部分自动化软件成本占到了多少，就是50%，但是今天通过SDN与NFV可以比较容易的实现，远程通过虚拟化，通过SDN／NFV脚本远程的自动化升级，现在做起来是非常简单。但是我讲这故事想表达什么意思呢？就是通过技术的发展，尤其是软件定义的发展，原来五年前不可想象，高成本达到几千万美元的项目，在今天看起来做起来就比较简单。所以你看到经过五年的发展，整个云包括SDN这一种东西，包括商业公司的冲击是非常大的。大家也目睹了不同的公司不管是最近的EMC还是各种的洗牌，我觉得这洗牌还是持续下去。

软件定义沿着这发展，软件定义是什么呢？就是打破了硬件和软件的隔膜，硬件和软件真正第一次无缝的对话和协作。就像数据中心，原来大家做数据中心，搞IT运维，跟网络那帮人很难进行有效的合作和沟通。所以在软件定义解决了这问题。在这前提下分工怎么思考呢？我们认为后来IAAS和PAAS这种界限会越来越模糊，至少会越来越统一。从这角度来讲，软件定义给我们解决了硬件和软件的隔阂，能够快速为用户创建无缝服务。当用户通过一个简单的HTTP，访问我们公有云，触发后台成千上万的服务器聚合产生一个工作任务，我觉得这是非常重要的一点。

大家知道刚才说了，经过十年的发展，就是发展到今天，这图上列出了几个热门的技术和领域。当然这图可以延伸进去，40个技术可以400个。现在开元软件，说到这儿开元软件的发展直接推动了云的发展，没有开元软件我们认为就没有云，没有工业界今天的发展。SDN和NFV的成熟，我们今天想给大家说什么？云的自动化是直接经过十年的发展。包括这种开元软件的成熟导致的结果。甚至五年前谈自动化非常困惑，或者说挑战非常大，但是今天给了我们非常大的机会去做这事情，为云更加简单、自动提供更多的产品和方式。所以SDN的成熟和发展一会详细介绍。 另外一个所有技术的聚合，推动了云自动化的发展。

刚才我一直强调，要想象我们所有未来的服务基于大型数据中心，成千上万的物理服务器，甚至更简单的CPU，为你提供服务。如何在这样一个前提下，为一个简单的服务，后台聚合成千上万的任务，这是非常有挑战性。今天这个图是给大家看看，就是说我们部署一个大数据系统SPARK，大家都知道SPARK是一个非常优雅的结构，可被选择位更加通用的大数据平台，最底层你会选择Openstack。大家在座下面有做技术和产品也这么使用过。但是作为服务提供商，作为大数据产品提供商，这带来什么问题呢，那就是跨层的资源管理。大家知道Spark通过Mesos、YARN来管理资源，它们也是基于容器；如果再用Docker也是基于容器部署Spark，再加上最底层的诸如Openstack这样底层云平台。这三层你怎么进行协作、如何进行综合资源管理？我觉得工业界还没有一个很好的答案，我们也在做这方面探索和实践。自己从产品实践设计一个通用的资源管理，能够把Spark真正的底层大数据和云对接起来。

下面我们再看一看，SDN和NFV如日中天，但是我们今天考虑SDN和NFV一个通用的框架，所以在这图里看到什么呢？你通过Openstack，大概五年当中有一个10倍的增加。现在SDN和NFV运营商。你4G到5G，甚至5.5G传统的电信交割起来每么费劲，一切都是通过软件定义来实现。在这前提下，其实大家可以盘道NFV冲击最大的就是供应商，大家可以看到。我们华云数据也是通过NFV实现了，这一点对设备提供商来说，尤其是安全，其实冲击还是非常大的。

在这领域如果从自动化和性能的角度出发，看到什么问题呢？其实第一个问题还是资源管理，大家看到Openstack如日中天，在座可能都用过，至少在座说没有听说过Openstack，但是Openstack，跟我们生产当中有一部分的差距。所有的工程师他们的观点都想通过Openstack表达出来，但是Openstack已经成为了超级软件，它反应不同公司的观点，所以说在资源管理这一块，SDN和NFV跟Openstack结合，现在没有标准的答案。包括华云数据也推 出了方案也碰到了很大的挑战。

另外就是真正软件前提下你如何做？数据包进来以后，原来大家传统的IT网络架构都知道如入侵检测系统还有防火墙，这些在NFV都要通过软件定义来实现，一个数据包的流向要经过不同的方针。所以说进行数据包的控制是非常关键对SDN和NFV来说。

另外一个对于软件自动化迎合SDN和NFV来说。你的一台X86不管是多核还是多CPU，如果让它替代专用入侵检测与防护系统，甚至其他的例如Firewall对性能要求非常强，尤其是数据包的转发，我们可喜的看到，在整个工业界，最早的五年前一直到现在的DPDK，所有的工业界我们在集合推动整个的提升，它的提升引领了NFV更加使用化和更快的落地，如果从大的中心迎合整个软件化的趋势，所以这三个至少我们看到未来一到三年，多的不敢说，这一直还是存在，我觉得我们在整个工业界和学术界在推动这个事情发展。

现在我们下一个再谈一谈所有的全栈服务，我们以Facebook，未来得云计算仍然是以应用。当一个企业部署APP。我们作为云的供应商，甚至你选择一个企业级云平台时候，我要考虑它的通用性。所有的Iaas也好、paas。所以这角度Iass和paas很难区分。而这角度纯粹的做Pass很难迎合市场用户的需要。另外一个就是刚才强调了软件定义能够打破硬件和软件之间的隔离，至少我从这个角度出发，当然不同德人对软件定义有不同的看法。另外就是大型数据中心和云后台的组件话。包括最近热门的软件工具，结偶和内距今天发生的呢？所有的这些都是自然而然发生的过程，所以你要从这角度看微服务是自然而然不过了。

另外下面我快速给大家分享一下，怎么在云上部署一个大数据系统。这个图给大家引用，给大家告诉什么问题？在优雅部署大数据的系统，设计到不到大概20流程。一个生产环境的大数据系统跟搭建POC是完全不一样的，考虑安全等更多细致的问题，那不一样的。当搭建一个真正生产大数据系统的时候，所有的流程大概20来个，甚至更复杂，在部署大数据的系统，尤其在云上部署的时候面临了很大的问题。

所以说我们华云实践的方法论是什么？更多的是通过事件驱动来做一个驱动化。首先你要通过资源调度，刚才我说了通过SDN和NFV，把底层软硬件进行打通。它需要一个X86的集群，也需要不同的软件组件。另外一个云的部署，在做大数据部署的时候，能不能通过事件驱动，我们现在已经做到这一点，在我们的私有云平台上，封装了所有的私有云平台，这是非常有挑战性。另外一个有是跟服务相关，一个是服务聚合一个是自动分析，所有的这些能不能做到自助服务，现在大家看到AI或者Machine Learning对你项目进行自助模式的匹配，而不是通过人为分析，我觉得我们机器学习在沿这路子在走，我觉得基于Spark环境，做大量有意思的创新。

下面是看一下我们在这方法论的前提下，我们的私有云是做成什么样子？当然我们华云的私有云更多基于资源的统一调度，打破了软件和硬件的隔离。真正为用户的上层应用，你的底层（英文）还有负载均衡，所有的这些都是作为一个统一可调度组件的服务。这是我们公有云，我就不详细介绍。我们提供不同服务的创合，通过密钥的分发把所有的聚合起来。

最后是三个讨论。第一个就是云的加减法，什么叫云的加减法，云发展了十年，未来的五年或者下一个十年怎么发展？云的应用对用户来讲肯定是越简单、越透明。但是对于我们产品和研发来说，在纷繁复杂的软硬件资源上能不能提供无缝的聚合服务这是非常有挑战性。对用户来说你的云减法，对生产系统来说技术的复杂性带来了加法，但是并不阻碍我们对后台系统也要做减法，通过自动化做更有效self－service，这一点正好云的自动化为云的加法和减法搭了一个桥梁，做这种调度管理啊。

第二种就是说我们的云需要更细颗粒度的调动资源，不管是SDN还是NFV，网络、储存、计算等都是能够被脚本定义驱动。另外一个通过Docker，所以云不但需要分子、原子它细颗粒越细我们调颗粒度越混润。

第三个结论可能大家认同，就是Iaas和PaaS走向融合，未来得云提供商还是企业级的产品，统一的角度，用户越来越选择一站式的服务，软件与硬件作为一切可调度的资源。所以说我们认为趋势就是妨碍，我的前提是需要越来越多好的产品。

今天因为时间关系，云这种趋势发展是一个大的题目，我更多是从软件自动化角度去阐述。试图也是建立一种方法论去分析我们云未来发展的趋势。如果大家对这话题感兴趣，我们可以线下继续讨论，谢谢大家。

（以上内容根据现场速记整理，未经发言嘉宾确认，仅供参考，谢绝转载。）