青云李威：在云上做大数据平台有什么独特的挑战

　　【中国智能制造网 名家论坛】7月18日,"云用户生态发展论坛暨第三届中国云计算用户大会"在北京国家会议中心召开。在下午的会议中，青云QingCloud系统工程师及大数据平台负责人李威带来主题为“大数据云平台之佳实践”的精彩演讲，以下是他的演讲实录：　　李威：大家好，我是QingCloud青云的系统工程师李威。今天我讲的这个话题可能技术性有点强，可能需要大家费点脑子。分成几大块。，先说一下云计算和大数据的关系。第二，在云上做大数据平台有什么独特的挑战。第三，我们会讲一下大数据平台它有一个比较基本的，或者说通用的一个系统架构是什么样子。后，分享一些我们自己的，包括和在客户那儿的一些跟大数据相关的佳实践。
　　
　　大数据的例子，我就不说太多了，说一些我们的一些企业客户的。比如说个是一个非常大型的一个跨国的一个互联网社交企业。然后他们会用我们在云上的大数据的一些平台，包括一些具体的技术，会做比如用户画像。就是你在社交网络里面，然后为什么推荐给你的朋友正好是你可能会认识的，然后为什么推荐给你的信息可能就是你感兴趣的。这个都是用户画像用大数据来做的。
　　
　　第二，像一个非常大型的互联网的金融企业，它会用大数据做一些风控分析。因为在互联网金融，尤其是互联网金融行业里面，它之所以可以和传统金融PK，就是因为它在风控这方面可以用大数据技术把风险控制的非常小。大家可以想一想，在P2P平台上面，凭什么没有像以前传统银行各种人来调查你，没有什么抵押金，但是可以让你用钱。包括政府部门海量信息检索，比如它需要把全国的各种部门联合起来，然后我需要有一个犯罪嫌疑人他有没有可能在各个地方有一些其他数据，我可以搜索，可以挖掘，然后进行一些分析。
　　
　　大数据很火，它跟云计算到底什么关系？其实我们认为大数据现在大家可能觉得到什么地方都听见大数据，其实很可能每个人说的不一样，也得人说的是大数据平台，有的人说的是大数据的某个产品，有的人可能说的是大数据的某个应用，比如AlphaGo。
　　
　　尤其在企业里面，我们和客户谈的时候，客户个比较想不明白的就是大数据的产品和技术太多了，而且每个场景都区别不是那么明显。所以，在大数据这个技术里面，我们个要解决的就是到底怎么选择大数据的解决方案，怎么为企业做大数据解决方案。但是，每个企业需求变化又特别大，或者有很多企业，就是传统企业他们对大数据的需求不是非常明确，互联网企业他们需求变化非常快。按照传统的比如建一套大数据平台，可能花费很多成本，时间成本、人力成本，包括金钱。但是云平台，大家知道IaaS、PaaS、SaaS，后所有东西都变成服务器。你要构建一个非常复杂方案的时候成本就低，因为你只需要按照服务构建的方式来做，而且这样非常灵活，如果你发现其中方案某一部分有问题，你可以很快的替换掉，因为很多都是平台上的服务。所以，它可以满足你的业务不确定性的需求，包括业务弹性的需求。因为大家知道现在变化太快了。
　　
　　第二，云计算给大数据带来的好处是什么？比如它可以自动化运维，一些复杂系统的安装、部署、监控都不用你自己做，在界面上非常快的就可以，非常简单就能做完。然后还有一些包括稳定、性能，这个不多说了，云计算的好处大家肯定知道特别多，说几个有意思的。
　　
　　比如，网络和存储，计算引擎的切换，这个比较有意思。也就是当你的平台足够复杂，足够大的时候，每块部分都是一个服务器，每一块变成一个服务器之后，可以非常灵活的替换掉它，把他换成别的产品实现，或者别的技术实现。后面就是ServiceOrchestration，就是比如你有一个界面，需要画各种图，或者工具也好，但是他们有一个非常致命的缺点，你画的那个图是不能执行的，就是是不能部署，不能执行的。ServiceOrchestration是给你一个大的拓扑图，这也是青云今年年初发布的一个产品，叫做资源编排。可以在云平台把一整套的架构部署出来，这是云上他们这些带来的一些好处。
　　
　　云上大数据平台的挑战。很多企业做大数据平台在物理机上做，为什么没有在云上做？因为挑战非常多。，稳定性的挑战，比如高可用、灾备。第二，性能。一直被人垢病的，因为你是虚拟机，肯定没有网络机的硬盘快。在青云个IaaS层的稳定性已经运行好几年了，没有太多可说的。垢病性能这一块，我们去年做了软件定义网络的2.0，2.0出来之后，这个是为云计算，为大的IaaS平台专门研发的一套SDN，可以做到点对点之间的网络传输，可以达到物理网卡。第二，在硬盘这块一直被垢病的，我们容器技术，可以把硬盘的技术降的非常低。第三个好处就是迁移，迁移技术非常好，因为现在已经有一些比较成形的，比如关系型数据库和非关系型数据库。
　　
　　我们说解决这些挑战之后，我们会有一个大数据的平台系统架构出来这个架构其实都是一个非常通用的架构。就是你可能在很多企业里面，不管京东、美团、亚马逊，可能看到的基本都是这样的样子。其实先从左开始看起，其实是一个数据的生命周期，就是数据从哪个地方收集，可能是日志，可能是传感器，收集过来到中间的核心平台，下面一层就是IaaS，青云所有PaaS层的服务都是基于IaaS做的，就是都是在云上面的。然后到个就是存储。中间三个大块，个叫实时计算，叫Storm，当然Twitter现在出来的可能宣称比Storm更强。第二，就是BatchProcessing，第三个就是BigSQL，包括像Kylim等。右边就是你做所有平台可能都会做的，包括它的数据管理、监控、安全，包括用来做分布式的配置中心的一项东西。