-
HDFS:Hadoop Distributed File System,分布式文件系统
-
MapReduce:分布式计算框架,,分为Map和Reduce两部分,Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果 。Reduce则对中间结果中相同的“键”的所有“值”进行规约,以得到最终结果。
3.HBase:分布式列存数据库,
4.ZooKeeper:分布式协作服务,解决分布式环境下的数据管理问题 ,如统一命名,状态同步,集群管理,配置同步等
5.Hive:数据仓库,定义了类SQL的查询语言HQL,用于运行储存在Hadoop上的查询语句
6.YARN:分布式资源管理器,是下一代MapReduce
7.Sqoop:SQL-to-Hadoop,用于传统数据库和Hadoop之间传输数据