浪潮张东：大数据时代的挑战与解决之道

ZDNET网络频道 06月06日 北京报道（文/李超）：6月6日，在以“大数据大带宽推动云计算应用与创新”为主题的第五届中国云计算大会上，浪潮集团系统软件总监、云计算产品部总经理张东在主题演讲中指出，大数据的出现并不比云计算的概念晚多少，浪潮之前提出了一个行业云的概念，要推动不同行业应用在中国发展，信息技术是数据处理的技术，我们通过把数据搜集起来，并把信息转化成知识，最终影响企业的决策。

浪潮集团系统软件总监、云计算产品部总经理张东

张东认为，现在大数据从一个成熟的技术走到应用的过程中面临到了一些问题。对于这些问题我们如何去解决它，如何能够让大数据的技术更好的为我们的行业应用服务。现在看到有一些技术推出，先不说这些是否能够完全解决我们所有的问题，我们先看这些技术怎么走到普通的行业用户里面？首先，行业云是中国云计算未来发展的一个非常重要的阵地，解决了行业信息化的问题就解决中国信息化绝大部分的问题，譬如政府，像公安、工商、税务 、民生等等，很多数据都需要处理，但是现有很多大数据技术的应用门槛还是有些高，很多用户也尝试过自己去搭建，可是搞了很长时间还是没有成功，其实这里边的难度还是非常大的问题，这就需要有专业的公司和机构提供成熟的产品、成熟的解决方案，帮用户更好的实现这些新的技术。

张东指出，一个大数据应用的成功离不开几个方面的要素；一个是要有好的平台，一个是要有好的应用，最后它必须得有支撑。从浪潮来讲有自己的大数据平台，但实际上到了用户的实际使用环境里面最大的挑战还是来自于数据是不是能够聚集起来，这点我们觉得公安局是一个很好的例子，数据整合做得很好，但是实际上它还是会面临很多问题，比如它里面不同的部门、不同的环节产生的数据实际上仍然是分散的，那么如何能够让这些数据聚集起来，这些业务数据能够打破它原有的壁垒 ，这也是在大数据运用之前帮助用户做好规划和整理的工作。另外，在数据业务应用方面，这些模型的产生和不断的优化需要很长的过程。

张东表示，从技术到应用的应用之间存在一个门槛，浪潮的大数据解决之道是针对于大数据应用推出大数据一体机的解决方案 ，主要具备几个特点，第一是软硬件一体的创新的数据处理平台；第二是针对不同应用系列化的产品；第三是专业化的应用支持；最后是在安全方面的一些考虑 。

第一，在一体化方面浪潮最主要的工作还是在硬件层面，浪潮的大数据处理机是在硬件层面针对数据的处理要求、存储要求进行了优化。第一个环节就是数据的存储。作为一个大数据平台首先要把数据存下来，那么如何更多更好存储这些数据需要很多的技术，包括全局负载均衡技术、动态可调整冗余编码、多副本节省空间、分布式共享缓存等等。

第二，现在讲大数据处理好像是一个单一的事情，但是作为浪潮的理解，针对于大数据几个特点抽取出来几个特性。首先要看数据总量，但是数据量只代表这个数据可能大、可能小，但并不意味数据大就一定很困难。另外是根据数据更新模式，比如银行的业务或者交易性的业务不断在原来的数据上进行更新，或者说数据可以保持原来不变并不断的叠加，还有提交一个请求要求多少毫秒之间就需要反馈 ，从这几个角度带来不同的数据特点，浪潮把这些特性分为三个圈，通过分析不同的用户数据特点，从做产品、做平台的角度去推出不同的产品应对不同的应用需求。

第三，在大数据里面安全仍然是非常重要的，特别是现在我们把所有平台上的数据都聚集在一起。在实际用户里面有的用户就提出原来这个数据是分散在各个不同的部门、不同的单位，现在要求把这些数据统一起来，第一，要考虑的就是数据放在什么地方更安全可靠，第二，数据集中起来会不会被其他人看到。浪潮现在在大数据平台上将原来操作系统里面的概念，比如访问控制的手段、加密的手段拿到大数据平台上来，满足用户对于数据保护的要求。其中包括基于硬件的一些加密和存储以及访问控制，也包括对于基于现有大数据平台用到的一些备份软件、异地容灾的软件。

张东讲到，对于数据中心，作为运营管理来讲，云计算数据中心的管理最重要的就是如何将资源进行调度 ，实际上这个在大数据时代仍然是需要的。我现在部署一个新的数据处理的集群系统仍然是有些麻烦，那么如何跟云计算的部署技术、管理技术结合起来，也让大数据处理平台，比如Hadoop平台、数据仓库的数据按需组合 、按需分配，结合云计算的概念，你不一定要用虚拟化，可以通过在浪潮的物理机上进行快速的部署和应用的切换实现资源更好的调度。并可以通过满足硬件更好的大数据平台上提供一些软件的性能调优，包括存储的算法方面，包括在任务调度算法的优化，然后提高整个大数据平台整体的性能。在资源管理方面，也可以通过一体化的资源管理来监控整个大数据平台的运行状态。

张东认为，云计算发展到现在资源的聚集和业务的聚集已经得到大家的公认，那么下一步就是如何让我们聚集起来的这些数据发挥作用，我们的大数据处理平台就要在这里发挥更重要的作用。大数据处理平台一个应用的关键是将原来互联网里面应用比较广的技术推广到行业之中，解决他们在数据规划、平台建设、数据分析等方面的问题。为此，浪潮希望通过专业化服务给更多的行业用户提供这方面的支持和服务。