hadoop生态系统（hadoop生态系统架构图）

本篇文章给大家谈谈hadoop生态系统，以及hadoop生态系统架构图对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、什么是 Hadoop 生态系统
• 2、Hadoop生态系统-新手快速入门（含HDFS、HBase系统架构）
• 3、什么是hadoop生态系统中的结构化储存工具
• 4、大数据Hadoop生态系统介绍

什么是 Hadoop 生态系统

在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示例时，比如Hortonworks Data Platform, Cloudera Quickstart 等等，里面会包含大量的开源项目。本篇文章主要是对 Hadoop 生态系统有个初步的认识，以下的一些开源项目详情可以查看 hadoop ecosystem table。

Map Reduce -MapReduce 是使用集群的并行，分布式算法处理大数据集的可编程模型。Apache MapReduce 是从 Google MapReduce 派生而来的：在大型集群中简化数据处理。当前的 Apache MapReduce 版本基于 Apache YARN 框架构建。YARN ＝ “Yet-Another-Resource-Negotiator”。YARN 可以运行非 MapReduce 模型的应用。YARN 是 Apache Hadoop 想要超越 MapReduce 数据处理能力的一种尝试。

HDFS - The Hadoop Distributed File System (HDFS) 提供跨多个机器存储大型文件的一种解决方案。Hadoop 和 HDFS 都是从 Google File System (GFS) 中派生的。Hadoop 2.0.0 之前，NameNode 是 HDFS 集群的一个单点故障 (SPOF) 。利用 Zookeeper，HDFS 高可用性特性解决了这个问题，提供选项来运行两个重复的 NameNodes，在同一个集群中，同一个 Active/Passive 配置。

HBase - 灵感来源于 Google BigTable。HBase 是 Google Bigtable 的开源实现，类似 Google Bigtable 利用 GFS 作为其文件存储系统，HBase 利用 Hadoop HDFS 作为其文件存储系统；Google 运行 MapReduce 来处理 Bigtable 中的海量数据，HBase 同样利用 Hadoop MapReduce 来处理 HBase 中的海量数据；Google Bigtable 利用 Chubby 作为协同服务，HBase 利用 Zookeeper 作为对应。戚数

Hive - Facebook 开发的数据仓库基础设施。数据汇总，查询和分析。Hive 提供类似 SQL 的语言 (不兼容 SQL92)：HiveQL。

Pig - Pig 提供一个引擎在 Hadoop 并行执行数据流。Pig 包含一个语言：Pig Latin，用来表达这些数据流。Pig Latin 包括大量的传统数据操作 (join, sort, filter, etc.)， 也可以让用户开发他们自己的函数，用来查看，处理和编写数据。Pig 在 hadoop 上运行，在 Hadoop 分布式文件系统，HDFS 和 Hadoop 处理系统，MapReduce 中都有使用。Pig 使用 MapReduce 来执行所有的数据处理，编译 Pig Latin 脚本，用户可以编写到一个系列，一个或者多个的 MapReduce 作业，然后执行。Pig Latin 看起来跟大多数编程语言都不一样，没有 if 状态和 for 循环。

Zookeeper - ZooKeeper 是 Hadoop 的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper 的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper 是 Google 的 Chubby 一个开源的实现.是高有效和可靠的协同工作系统。Zookeeper 能够用来 leader 选举,配置信息维做神护等.在一个分布式的环境中纯仔亏，我们需要一个 Master 实例或存储一些配置信息，确保文件写入的一致性等。

[img]

Hadoop生态系统-新手快速入门（含HDFS、HBase系统架构）

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现悉晌激了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

广义的Hadoop，一般称为Hadoop生态系统，如下所示。

Hadoop生态系统中这些软件的作用：

HDFS 采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。

HDFS采用Java语言开发，因此任何支持JVM的机器都可以部署名称节点和数据节点。

在配置好Hadoop 集群之后，可以通过浏览器访问 http://[NameNodeIP]:9870，查询HDFS文件系统。通过该Web界面，可以查看当前文件系统中各个节点的分布信息。

HBase系统架构如下所示，包括客户端、Zookeeper服务器、Master主服务器、Region服务器。一般而言，HBase会采用HDFS作为底层数据存储。

在HBase服务器集群中，包含了一个Master和多个Region服务器，Master是HBase集群的“总管”，它必须知道Region服务器的状态。

HBase中可以启动多个Master，但是Zookeeper 可以帮助选举出一个Master 作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这样可以避免Master单点失效的问题。谨核

Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求。

Store是Region服务器的核心。每个Store对应了表中的一个列族的存储。每一个Store包含了一个MemStore缓存和若干个StoreFile文件。

HBase采用HLog来保证系统发生故障时，能够恢复到正确的状态。HLog是磁盘上面的记录文件，它记录着所有的更新操作。

HBase系统为每个Region服务器配置了一个HLog文件，它是一种预写式日志（Write Ahead Log），也就是说，用户更新数睁袜据必须首先被记入日志后，才能写入MemStore缓存。

此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

注意：Hadoop 安装完成之后，只包含HDFS和MapReduce，并不含HBase，因此需要在Hadoop 之上继续安装HBase。

什么是hadoop生态系统中的结构化储存工具

Sqoop是hadoop生态系统中的结构化乎纳储存岁猛没工具。Sqoop是知散SQL-to-Hadoop的缩写，是Hadoop的周边工具，它的主要作用是在结构化数据存储与Hadoop之间进行数据交换。

大数据Hadoop生态系统介绍

官方地址：

Github地址：

官方地址：

官方地址：

License

支持的最低Java版本

容错

数据平衡

存储Scheme

存储开销

存储开销示例

YARN时间线服务

默认端口范围

工具

兼容的文件系统

Datanode资源

MR API兼容性

支持Microsoft Windows

插槽/容器

单点故障

HDFS联盟

可扩展性

访问数据

HDFS快照

平台

群集资源管理

这里只是列举了一部分Hadoop生态里的组件，稍微介绍了一下，上面提到的目前企业里最常见的组件的原理介绍，安装部署，以及企业级使用会在后续分享出来，请耐心等待……

关于hadoop生态系统和hadoop生态系统架构图的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。