Thursday, April 3, 2014

Hadoop扫盲(一)

Apache Hadoop项目简介 
Core---- 一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)
Avro---- 一种提供高效、跨语言PRC的数据序列化系统,持久化数据存储。
MapReduce----分布式数据处理模式和执行环境,运行于大型商用机集群;
HDFS----分布式文件系统,运行于大型商用机集群;
ZooKeeper----一个分布式的、高可用性的协调服务;
Pig---- 一种数据流语言和运行环境,用以检索非常大的数据集,运行在MapReduceHDFS集群上;
Chukwa------ 分布式数据收集和分析系统;
Hive--- 分布式数据仓库,Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用以查询数据;
Hbase---- -一个分布式的、列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询。

其中MapReduce和HDFS是Hadoop的核心



http://www.zhihu.com/question/19795366 (零基础入门书籍)