正在阅读:云上运行Hadoop 哪些问题需注意?

云上运行Hadoop 哪些问题需注意?

2016-06-03 13:43:16来源:云栖博客 原标题:云上运行Hadoop 会面临哪些挑战 关键词:云计算Hadoop云平台阅读量:32373

导读:在云上运行Hadoop,很多人担心性能。因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。
  【中国智能制造网  技术前沿】在云上运行Hadoop,很多人担心性能。因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。如果单独把10台物理机虚拟化跑Hadoop,这肯定是有部分性能的开销的。但是如果在公共云上,情况就不是这样了。因为公共云虚拟化的开销终是由平台方来承担的,其一是平台方采购机器有规模优势,其二平台方可以在保证虚拟机性能的情况超卖部分资源。

云上运行Hadoop 哪些问题需注意?
  
  平台卖给用户8core32g的虚拟机就保证有这个规格的能力的。结合云上的弹性优势,企业的总体成本是会下降的。
  
  在云上运行Hadoop对平台方还是面临一些挑战的,下面主要讲述这些挑战及平台方怎么解决的。
  
  云上Hadoop的挑战-Shuffle
  
  Shuffle分为Push模式,Pull模式。Push模式就是直接通过网络发送到下一个节点,比如:storm、flink。Pull模式就是数据先存储在本地,再启动下一个节点拉取数据,比如:HadoopMR、Spark。
  
  在push模式下,主要瓶颈点是网络。在一般的云环境中,网络跟线下没有太多的区别,可以满足需求。
  
  在pull模式下,主要瓶颈点是磁盘。在云环境中,会提供本地磁盘或者用SDD加速的方案。如下:

SDD加速方案
  
  另外:
  
  根据spark社区的报告,在机器学习等很多场景下,瓶颈点现在是CPU了
  
  云上Hadoop的挑战-数据本地化
  
  数据本地化含义是分析时,把计算移动到数据节点的。如果计算存储分离,则存在数据放在OSS中,需要从OSS远程拉取数据。一般情况下,认为这样会有性能问题。

从OSS远程拉取数据
 
我要评论
  • 如何降低云计算基础设施的碳排放?

    云计算基础设施的碳排放主要来自两个方面:一是数据中心运行过程中消耗电力产生的运营排放,二是服务器、存储设备、网络设备以及建筑材料在生产、运输和建设过程中形成的隐含碳排放。
    云计算碳排放数据中心
    2026-11-13 10:38:52
  • 多重力量共振:人工智能加速发展的底层逻辑与未来路径

    人工智能的快速发展并非单一技术突破的结果,而是计算能力提升、数据资源积累、算法架构演进、基础设施完善以及市场需求增长共同作用的结果。
    人工智能云计算
    2026-11-10 11:11:20
  • 选对数据基础设施:制造业如何权衡本地、云与边缘部署

    无论是老牌企业还是新兴企业,这些数据基础设施选项都能为制造企业的计算环境带来潜在价值。然而,其效用取决于制造环境中的具体需求、要求以及现有的系统架构。
    云计算制造执行系统数据基础设施
    2026-10-24 10:39:59
  • 2026年企业云计算发展趋势解析

    Gartner预计,2026年全球基础设施即服务(IaaS)支出将达到2873亿美元,同比增长29.3%;其中,AI优化基础设施支出预计达到423亿美元,同比增长96.4%。
    云计算
    2026-10-10 09:13:49
  • 具身智能加速融入先进制造,智身科技与华为云深化产业合作

    华为全联接大会2026期间,智身科技旗下智身新创(苏州)智能科技有限公司与华为云计算技术有限公司正式签署全面深化合作协议,双方高管出席签约仪式。此次合作将围绕云计算与AI、技术协同、行业应用及生态合作等领域展开,共同推动具身智能规模化进入真实行业场景。
    云计算人工智能
    2026-09-24 10:06:43
  • 2027年值得关注的云计算技术趋势

    进入2027年,企业的云战略将不再只是考虑“是否上云”,而是进一步关注如何构建适合不同业务场景的云基础设施。传统企业应用通常以南北向流量为主,而AI训练、分布式数据库和大规模数据分析会产生大量东西向通信。这要求云基础设施具备更高的网络带宽、更低的延迟以及更稳定的通信性能。
    云计算人工智能AI云基础设施
    2026-09-07 10:25:02
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了