QCon北京：构建大数据生态必备核心技术

　　【中国智能制造网 智造快讯】2016年QCon软件开发大会北京站于4.21-4.23在北京会议中心举办，参与大数据技术实践分享的厂商有：通联数据、明略数据、FreeWheel、七牛云、百度开放云、易观和链家网。演讲话题点包含机器学习、数据存储、用户画像、数据查询、数据迁移和数据分析等关键技术点，完整的诠释了构建大数据生态必备的技能和构建生态终的目的。　　机器学习&金融投资　　
　　作为金融投资领域的实践者，通联数据在投研管理业务场景中有较多的经验可以分享，尤其是在信息搜集、分析判断、投资决策和后续跟踪方面，将大数据吸收并用于投资活动的“小数据”。
　　
　　而完成这一系列动作就需要一个分析能力特别强的平台，平台架构底层聚合多行业的数据，包括财务数据和社交数据等等，但是我们更为关注的是这个投研平台的机器学习技术框架，因为这样一个框架基本上展现出了其技术的组成部分和核心技术点。（如下图）　　
　　从图上可以简单的看出，平台底层有海量的数据不断积累、不断增长，包括宏观数据、行业的数据、场合数据，官方数据，也包括各种通过爬虫爬来的各种数据。接下来会通过数据生产、数据清洗、数据上线等过程，将这些表面上看似没什么关联的数据通过自然语言处理和算法建立起一个知识图谱和关系。通过设定某些规则来检测不断流动的数据流或者文本流信息，关注不断出现的事件，对带有关键词或带监控的主题进行监控，可以实时监控大事件。通过包括神经网络在内的算法方式，对数据进行建模和归类，把大量的信息进行过滤，过滤成有用的“小数据”。
　　
　　除此之外，蔡弘博士还提到了通过机器学习向用户推荐准确的新闻资讯；通过智能搜索，对关键词的分词、同义词、精密度和重要度进行数据清洗和建模，完成用户的信息搜索需求。
　　
　　社会化数据&混合存储
　　
　　在讲到社会化数据这一块内容的时候，来自明略数据的任鑫琦解释说，社会化数据的特点就是：收集更困难，质量难保证，数据非结构化，数据处理性能差。所以说，要把这样的社会化数据存储起来是有难度的。接下来看看社会化关系网络的存储架构，基于Hadoop分析框架和流式计算框架形成一整套数据处理框架，主要用于数据查询。　　
　　查询完数据该如何存储下来呢？当然是用混合存储体系，（如上图）这个存储实现框架的底层都是基于一些开源的技术，底层是基于HDFS，数据库存储用的是HBase，数据仓库用的是Hive，图形数据库用的是开源的Titan。之所以用开源的Titan，原因在于其索引分析系统是Elastic Search，除了需要较多的业务应用之外，还有一些批量或者是离线、在线任务的计算，还要提供上层应用的服务层，能提供整体的一个接口。
　　
　　此外，任老师还讲了一些他所遇到的坑，包括边爆炸问题，Super Node问题，多点查询效率，索引性能和灵活度，导入数据性能等问题。
　　
　　用户画像&标注噪声处理
　　
　　说起用户画像，这是计算广告领域一个非常经典的问题。FreeWheel的童有军老师在开讲时介绍了用户画像在广告投放平台的重要地位。广告的受众定向和测量都会涉及到用户画像的相关工作。而受众定向则是根据用户画像生成的用户兴趣细分标签对广告进行定向。
　　
　　但是童老师也说到，在用户画像上，缺乏质量较高的标注来源，而FreeWheel选择了一种基于贝叶斯的方法来近似的标注用户。这种方法的基本思路就是通过用户观看过的视频在各个分类上的分布来推测这个用户的类别。对标注集合的噪声处理方法主要是Boosting方法、Bagging方法和半监督方法。Bagging方法中又分别尝试了CV方法和有放回的Bagging方法。　　后，童老师也介绍了用户画像和标注噪声的系统架构，（如上图）从HDFS开始，到MR，SPARK，然后同时做特征工程，和贝叶斯算法。将算出后的数据，dump到server上，做LableNoise，然后把数据插入到Aerospike中，用来做测试和使用。
　　
　　百度&即席查询
　　
　　在大数据即席查询技术的演讲中，百度大数据架构师孙垚光分别讲了BigSQL的定位和特点，BigSQL的架构和关键技术、以及在百度内部应用的案例。
　　
　　首先BigSQL的定位是一个即席查询服务平台，是PaaS形态的产品，它的特点是支持半结构化数据格式，使用多样化接口，兼容开源SparkSQL/HQL语法集，同时还有灵活的权限管理，支持不同用户之间共享、协同工作。
　　
　　下图是BigSQL的整体架构图，分成接入层和引擎层两部分，上面是用户可以接触到的各种API，中间是提供RestAPI的server，还有负责session管理和调度的master，监控job运行的worker等，下面是真正的计算引擎和存储引擎。　　接下来简单说一下BigSQL的关键技术：高性能Shuffle。关键技术：高性能Shuffle。（如下图）