Skip to content

Latest commit

 

History

History
16 lines (10 loc) · 792 Bytes

hadoop分布式一些概念.md

File metadata and controls

16 lines (10 loc) · 792 Bytes

今日内容

一些概念

  1. HDFS:Hadoop Distributed File System,分布式文件系统

  2. MapReduce:分布式计算框架,,分为Map和Reduce两部分,Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果 。Reduce则对中间结果中相同的“键”的所有“值”进行规约,以得到最终结果。

3.HBase:分布式列存数据库,

4.ZooKeeper:分布式协作服务,解决分布式环境下的数据管理问题 ,如统一命名,状态同步,集群管理,配置同步等

5.Hive:数据仓库,定义了类SQL的查询语言HQL,用于运行储存在Hadoop上的查询语句

6.YARN:分布式资源管理器,是下一代MapReduce

7.Sqoop:SQL-to-Hadoop,用于传统数据库和Hadoop之间传输数据