重庆慧都科技有限公司

免费会员·4年
您现在的位置: 重庆慧都科技有限公司>> HDFS
HDFS
参考价: 面议
具体成交价以合同协议为准
  • 产品型号
  • 品牌
  • 其他 厂商性质
  • 所在地

访问次数:49更新时间:2022-03-28 15:36:57

联系我们时请说明是智能制造网上看到的信息,谢谢!

暂无信息

免费会员·4年
人:
何经理

扫一扫访问手机商铺

产品简介
HDFS 是运行在商业硬件上的分布式文件系统
产品介绍

HDFS 全称为The Hadoop Distributed File System,是运行在通用硬件上的分布式文件系统。它与其它的分布式文件系统有许多相似之处,但也有着非常显著的区别。作为一种支持高容错性,面向低成本硬件部署 的分布式文件系统,HDFS还提供了访问应用程序数据的高吞吐量支持,这非常适用于包含大型数据集的应用程序。

HDFS最初是作为Apache Nutch web搜索引擎项目的基础结构,现在它是Apache Hadoop的子项目。

产品质量分析及预测

  • HDFS预览:
  • HDFS预览:
  • HDFS预览:
  • HDFS预览:
  • HDFS预览:

声明:本产品中文介绍为慧都网版权所有,未经慧都公司书面许可,严禁拷贝、转载!

需要培训、定制、外包?

请联系我们!800018081


慧都专业技术团队帮助您提高效率,节省成本,降低风险!

* 关于本产品的分类与介绍仅供参考,精准产品资料以介绍为准,如需购买请先行测试。

特点和目标:

硬件故障检测

硬件故障是一种常态,而不是偶然。整个HDFS系统由数百或数千个存储着文件数据片断的服务器组成。实际上它里面有非常巨大的组成部分,每一个组成部分都很可能出现故障,这就意味着HDFS里的常有一些部件是失效的,因此,故障检测和自动快速恢复是HDFS的一个很核心的设计目标。

数据访问

运行在HDFS之上的应用程序需要通过数据流的方式访问它们的数据集,它们不是运行在普通文件系统之上的普通程序。HDFS被设计成适合批量处理的,而不是用户交互式的。设计重点在于数据吞吐量,而不是数据访问的反应时间,POSIX的很多硬性需求对于HDFS应用都是非必须的,去掉POSIX一小部分关键语义可以获得更好的数据吞吐率。

大数据集

运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以,HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽,一个集群中支持数百个节点,一个集群中还应该支持别的文件。

简单一致性模型

大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。一个文件一旦创建、写入、关闭之后就不需要修改了。这个假定简单化了数据一致的问题和并使高吞吐量的数据访问变得可能。一个Map-Reduce程序或者网络爬虫程序都可以地适合这个模型。

移动计算比移动数据更经济

在靠近计算数据所存储的位置来进行计算是的状态,尤其是在数据集特别巨大的时候。这样消除了网络的拥堵,提高了系统的整体吞吐量。一个假定就是迁移计算到离数据更近的位置比将数据移动到程序运行更近的位置要更好。HDFS提供了接口,来让程序将自己移动到离数据存储更近的位置。

异构软硬件平台间的可移植性

HDFS被设计成可以简便地实现平台间的迁移,这将推动需要大数据集的应用更广泛地采用HDFS作为平台。

相关产品


会员登录

×

请输入账号

请输入密码

=

请输验证码

收藏该商铺

X
该信息已收藏!
标签:
保存成功

(空格分隔,最多3个,单个标签最多10个字符)

常用:

提示

X
您的留言已提交成功!我们将在第一时间回复您~
产品对比 二维码

扫一扫访问手机商铺

对比框

在线留言