小樱知识 > 生活常识hadoop是什么(hadoop的功能作用是什么)

hadoop是什么(hadoop的功能作用是什么)

提问时间：2022-08-21 16:09:38来源：小樱知识网

文章目录[隐藏]

  • Hadoop简介
  • 发布版本
  • 优势
  • 部署
  • 核心网站. xml

Hadoop简介

Hadoop是由Apache基金会开发的分布式系统基础设施。用户可以开发分布式程序，而不需要了解分布式的底层细节。充分利用集群的力量进行高速计算和存储。Hadoop实现了分布式文件系统(Hadoop分布式文件系统)，

其中一个组成部分是HDFS。HDFS具有很高的容错能力，旨在部署在低成本硬件上。此外，它还提供了访问应用数据的高吞吐量，适用于那些具有大数据集的应用。HDFS放宽)POSIX的要求，POSIX可以以流的形式访问文件系统中的数据。Hadoop框架的核心设计是HDFS和MapReduce。HDFS为海量数据提供存储，MapReduce为海量数据提供计算。

Hadoop由许多元素组成。底层是Hadoop分布式文件系统(HDFS)，它将文件存储在Hadoop集群中的所有存储节点上。HDFS的上层是MapReduce引擎，由JobTrackers和TaskTrackers组成。通过对分布式文件系统HDFS和MapReduce，Hadoop分布式计算平台的核心，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。

发布版本

Hadoop有三大发行版:Apache、Cloudera和Hortonworks。

Apache 最基础的版本 apache版Cloudera 企业中使用最多的版本(收费) cdh版Hortonworks 文档较好

优势

高可用 Hadoop底层维护了多个数据副本，即使某个计算元素或者存储出现故障，也不会导致数据的丢失高扩展 在集群间分配任务数据，可方便的扩展数以千计的节点高效性 Hadoop并行工作，加快任务处理速度高容错性 可以自动将失败的任务重新分配

部署

配置文件在hadoop /etc目录下，有几个重要的配置文件。

核心网站. xml

这是hadoop的核心配置文件。

以上内容就是为大家推荐的hadoop是什么(hadoop的功能作用是什么)最佳回答，如果还想搜索其他问题，请收藏本网站或点击搜索更多问题

内容来源于网络仅供参考
二维码

扫一扫关注我们

版权声明：所有来源标注为小樱知识网www.xiaoyin02.com的内容版权均为本站所有，若您需要引用、转载，只需要注明来源及原文链接即可。

本文标题：hadoop是什么(hadoop的功能作用是什么)

本文地址：https://www.xiaoyin02.com/shcs/640890.html

上一篇：什么杀毒软件好用(哪种杀毒软件最实用)

下一篇：很什么很什么的词语(很什么很什么造句)

相关文章

|网站首页| 生活常识| 家务日常| 自然科学| 数码解读| 运动有氧| 家庭美食| 恋爱情感| 常见问题| 生肖运势|

本网站属于科学类内容，传达严谨、科学的内容，专门聚焦于生活中的常识误区为大家解决常识问题

Copyright © 2022 小桜知识网 版权所有 京ICP备2021039702号-11

中国互联网诚信示范企业违法和不良信息举报中心网络110报警服务中国互联网协会中国互联网协会信用评价中心诚信网站