Hadoop分为三种模式:
独立(或本地)模式、伪分布模式、全分布模式
不同模式下关键配置项及属性内容如下面表格所示
组件名称 | 配置的文件名 | 属性名称 | 独立模式 | 伪分布模式 | 全分布模式 |
Common | core-site.xml | fs.default,name | file:///(默认) | hdfs://localhost/ | hafs://namenode/ |
HDFS | hdfs-site.xml | dsf.replication | N/A | 1 | 3 |
MapReduce 1 | mapred-site.xml | mapred.job.tracker | local(默认) | localhost:8021 | jobtracker:8021 |
YARN(MapReduce 2) | yarn-site.xml | yarn.resurcemanager.address | N/A | localhost:8032 | resourcemanager:8032 |
PS :Hadoop 2.0 以及之后的新版本来说,MapReduce 运行在YARN上。
所有的配置文件都在etc/hadoop 子目录下。
YARN:
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。