Hadoop运行模式 _Hadoop，ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛

总帖数

每页帖数

1/1页

返回列表

发起投票

查看: 2861 | 回复: 0

主题： Hadoop运行模式

xuefeng

注册用户

等级：上士
经验：315
发帖：69
精华：0
注册：2011-8-17
状态：离线
发送短消息息给xuefeng

加好友发送短消息息给xuefeng

发消息

发表于：

2015-5-14 10:09:21 | [全部帖] [楼主帖]

楼主

Hadoop的运行模式有以下三种：
（1）独立模式（standalone或local mode）
无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。
（2）伪分布模式（pseudo-distributed model）
Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。
（3）全分布模式（fully distributed model）
Hadoop守护进程运行在一个集群上，此模式以后会详细介绍。
在特定模式下运行Hadoop需要关注两个因素：正确设置属性和启动Hadoop守护进程。
下表列举了配置各种模式所需要的最小属性集合：

组件名称	属性名称	独立模式	伪分布模式	全分布模式
Common	fs.default.name	file:///（默认）	hdfs://localhost/	hdfs://namenode/
HDFS	dfs.replication	N/A	1	3（默认）
MapReduce	mapred.job.tracker	local（默认）	localhost:8021	jobtracker:8021