正在阅读:盘点:热门云计算与大数据开源技术变迁

盘点:热门云计算与大数据开源技术变迁

2016-05-07 09:24:57来源:Csdn 原标题:盘点人气云计算&大数据开源技术变迁 关键词:大数据云计算开源技术阅读量:31951

导读:据Global CloudIndex预计,截止至2020年互联设备数量将达到500亿,众多爆发式增长的设备预计在2017年便会产生高达7.7ZB的互联网数据。
  【中国智能制造网 智造快讯】近年内,随着越来越多的设备接入互联网,当下一年所产生的数据往往是以往数年的总和。而据Global CloudIndex预计,截止至2020年互联设备数量将达到500亿,众多爆发式增长的设备预计在2017年便会产生高达7.7ZB的互联网数据。

盘点:热门云计算与大数据开源技术变迁
  
  业务需求刺激下,大数据生态繁花似锦
  
  近年内,随着越来越多的设备接入互联网,当下一年所产生的数据往往是以往数年的总和。而据GlobalCloudIndex预计,截止至2020年互联设备数量将达到500亿,众多爆发式增长的设备预计在2017年便会产生高达7.7ZB的互联网数据。在这个大背景下,各个机构都积累了足够多的数据,从而对数据进行分析并产生指导实践的见解也成为了企业提高竞争力的迫切需求。在这个需求刺激下,开源大数据技术生态圈得到了飞速发展——在数据的整个生命周期中,从收集到处理,一直到数据可视化和储存,各种开源技术框架林立。
  
  在开源大数据处理上,出于对成本和数据量的考虑,横向扩展已经必不可少,因此在这个领域涌现出大量的集群计算框架,其中大家首先想到的就是Hadoop。Hadoop天生高贵,由原雅虎工程师DougCutting在Google论文的启发下建立,也是时下生产环境部署多的计算框架。然而,随着内存成本的降低和对不同处理类型需求的增加,缺乏对内存有效利用及资源调度粒度的不够,业内涌现出大量的计算框架并占据一席之地,其中备受关注的包括ApacheSpark、ApacheFlink、ApacheStorm/JStorm等,整个大数据生态繁华似锦。
  
  开源IaaS发展,从百花齐放到一家独大
  
  如上文所述,随着接入互联网的设备增多,企业IT基础设施往往需要承受以往数倍的压力,从而对原有的资源组织方式提出了严峻的挑战。在这个前提下,云计算得以快速发展并在各行各业落地,更成为许多创业公司的立足之本。而作为云计算的一种重要形式,IaaS服务有各种开源和商业云平台方案,作为当前成功的云计算平台,AWS更是吸引了众多的关注和模仿,如果说云计算发展到如今的火爆,除了IT技术的发展趋势,更重要的是背后云计算厂商的大力支持和推广。我们早听到IaaS概念可以追溯到1983年,一家在现在看来非常厉害的公司SunMicrosystems就提出了“网络是电脑”的概念,但是由于概念太超前,在当时并没有引起重视。
  
  随着Amazon推出其弹性云计算,并在IaaS领域大获成功,Google、微软、VMware、IBM等IT巨头们大举跟进,纷纷涉足云计算领域,云计算的热潮汹涌而至。在这期间,开源IaaS领域发展同样迅猛,从早的Eucalyptus、OpenNebula、CloudStack等到我们熟知的OpenStack,百花齐放,百家争鸣,一时云计算领域热闹非凡,当然,随着众多大型厂商的支持、社区的壮大以及生态的不断完善,OpenStack如今大放异彩,开始逐渐占据主导。不是说OpenStack现在无缺,只是在当下的开源IaaS领域,OpenStack已经毫无争议的成为受关注的云计算技术,并逐渐成为开源IaaS领域的代名词。
  
  容器技术异军突起,从技术演进到标准、生态之争
  
  Docker,时下火的容器技术,从诞生到进军生产环境,每一步的技术演进都受到了巨大的关注。其实,谈及容器技术,其实Docker并非首创,早在十数年前,容器技术便已有雏形,但是以SolomonHykes为首的一帮工程师敏锐的发现了容器技术在云计算领域的巨大潜力,随后迅速技术转型,开始投向容器技术并且从一开始就走开源路线,这位身上流著美国与法国的血统,喜欢网咖打电动,酷爱摩托车的年轻人开始了一段非凡的浪漫之旅。
  
  无论是版本的迭代还是进军生产环境,Docker这三年来的发展可以说是如鱼得水,当然,期间也受到过质疑,比如CoreOS与Docker的标准之争就在容器圈引起了不大不小的轰动,后以Solomon和CoreOS的创始人AlexPolvi握手言和告终。之后随着Docker版本的更新,在网络和安全、存储等领域的短板被逐渐补足之后,Docker的集群能力得以完善。
  
  容器引擎领域,虽说有CoreOS团队开源的rkt项目,但是和Docker相比,在用户以及社区活跃度方面都有很大差距。容器的编排,可以说在目前Docker领域受到的关注度,从Mesos到Kubernetes,围绕两种技术的编排之争超乎想象,由于背后都有大批的厂商支持,短期内,这两种技术都将得到迅速的发展,某一方不会形成压倒性优势,另外,从Docker公司的角度,背后的动作也有对编排的考量,综述所述,容器生态中,围绕Docker的生态之争才刚刚开始。
  
  析开源云计算&大数据技术新实践
  
  Docker短板补足,生产级实践备受关注
  
  如上文所述,在Docker版本的更新过程中,自身的一些技术缺陷得到了弥补,Docker在安全、存储以及网络领域的短板得到逐步的解决,Docker进军生产环境已经成为大势所趋。国外,在Docker应用领域有着比较先进的经验。国内目前真正将Docker应用在生产领域的很少,其中应用在核心业务的就更少,Docker从诞生到现在,已经3年时间,如果继续炒作Docker的优越已经毫无意义,当下,们为关心的是如何让Docker真正落地,如何在生产环境中使用Docker,急需这个领域有一些个吃螃蟹的企业出来分享他们的经验和教训。
  
  为此,2016Container峰会聚焦生产级实践,邀请了在金融、教育、制造、证券等领域已经应用Docker的企业技术负责人到场,给我们谈谈他们在生产环境中是如何使用Docker的,大规模部署Docker的经验和趟过的坑。比如我们请到了民生银行架构管理中心副主任周越博带来《Docker助力互联网金融新架构》,长安汽车分布式技术架构室室主任黄俊带来《容器化技术在长安汽车中的实践》,广发证券信息技术部资深架构师、交易云技术研发团队负责人杨涛带来的《广发证券基于大规模docker容器集群的OpenTrading证券交易云实践之路》,另外,哈有永信至诚科技股份有限公司副总裁带来的《CloudStack Docker构建云端信息安全实验场》。
  
  OpenStack式微?如何借势Docker
  
  无可否认,Docker的发展热度在一定程度上掩盖了OpenStack的光芒,但是作为开源IaaS领域的平台,IaaS如何和Docker和谐发展,或者如何借势Docker弥补OpenStack在技术领域的短板,已经成为很多关注的焦点。另外,上届的OpenStack技术峰会,我们邀请到IBM云计算架构师刘光亚分享了《深度解析Docker和OpenStack系统集成》收到了众多参会者的广泛关注,今年OpenStack技术峰会,我们同样邀请到九州云OpenStack开发工程师张雷为大家分享如何基于Docker部署升级OpenStack,此外,对于已经部署了OpenStack基础服务的用户而言,如何大化地发挥底层服务的能力、优化资源使用,同时提升用户体验,我们邀请到IBM研究员,OpenStack Senlin项目组长、Heat项目的Core滕启明博士来为我们分享如何通过编程充分发挥OpenStack云的能力。值得一提的是,对于OpenStack在企业的实践,我们也邀请到中国移动,中国银联、国家电网、华为、ebay、顺丰快递等工程师,分享他们在OpenStack实践方面的感悟。
  
  Hadoop老矣?时下开源大数据生态解读
  
  如前文所述,在海量数据处理上,横向扩展已毋庸置疑。而在这个领域,由Hadoop2.0中诞生的YARN无疑为耀眼,也是时下生产环境部署为广泛的开源框架。在本届CCTC2016上,华为印研Hadoop工程团队架构师、Hadoop Committer Naganarasimha Garla将从技术角度解析YARN的异构实现,而Hulu大数据架构组负责人董西成将分享YARN在生产环境中的异构应用与实践。
  
  谈到开源海量数据处理,行业内首先落地的无疑是批量计算,而在这方面,MapReduce无疑是鼻祖,也是时下生产环境部署多的计算框架。然而正如上文所述,缺少对内存的有效利用和业务对不同类型计算的需求,效率比较低的MapReduce同样面临着大量竞争者,其中两个备受关注的就是Spark和Flink。因此,在CCTC2016上,主办方特设置了2016中国Spark技术峰会,不仅有3位Apache Spark Committer RamSriharsha、连城、范文臣为大家解析Spark2.0,来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的近十位专家将带来新的Spark实践分享,详情可以看笔者之前的峰会解析。而在Flink方面,Flink活跃贡献者,万达金融李呈祥将为大家分享名为“Apache Flink:Streamengine beyond Batch”的议题。
  
  此外,基于大量用户的生产欢迎使用,Hadoop同样亦在飞速进步,就比如说之前一直由HDF和HBase的存储层已面临Kudu(Cloudera开源)的强力挑战,当然,满足业务需求,生产环境使用是大家所追求的共同目的。
我要评论
  • 2025年云计算:各行业如何借助云技术实现突破?

    云计算的新兴趋势预示着它将变得更加智能、多样化、强大和环保。到2025年,预计超过85%的企业应用程序将是基于云的,从根本上改变商业模式和战略。
    云计算
    2025-05-06 11:40:46
  • 物流智能转型新引擎:DeepSeek+物流

    DeepSeek 物流不仅是技术的革新,更是城市发展的重要推动力。它通过智能化手段提升物流效率、优化资源利用、减少环境影响,并为智慧城市建设提供支撑。未来,随着AI技术的不断进步,物流行业将迎来更深刻的变革。
    物流大数据服务平台
    2025-04-30 10:11:15
  • 2025年4月1日开始施行的重要新规一览

    四月,一系列新规定即将实施,包括《公共安全视频图像信息系统管理条例》、《车联网网络安全异常行为检测机制》等。
    大数据服务平台
    2025-04-02 09:31:36
  • 铁塔大数据灾害分析平台:提升自然灾害智能化预警水平

    目前,我国灾害预防面临着监测预警网络不健全、实效性不高、精准性不强,“三断”(断路、断网、断电)无法及时发现等问题,亟需建立防灾减灾预警网络,实现“灾后救助”向“灾前预防”转变的目标。
    大数据灾害分析平台
    2025-03-19 10:47:45
  • 淄博市召开大数据系统工作会议暨“三拼三比”动员部署会

    会议指出,2024年是新一轮机构改革后全市大数据系统全面履职的第一年,全市大数据系统在市委市政府的坚强领导和省大数据局的有力指导下,数据要素价值加速释放、数字经济发展步伐加快、数字政府建设深入推进、数字支撑底座更为夯实,数字淄博建设取得明显成效。
    大数据服务平台
    2025-03-18 10:07:30
  • 公司重要动态速览|海康威视、新华三、宇树科技......

    近期,智慧城市领域的企业有哪些动态呢?小编整理了一下,一起来回顾。海康威视发布视觉大模型周界摄像机;宇树科技入驻阿里速卖通AliExpress出海......
    大数据服务平台
    2025-03-16 14:10:47
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了