淘先锋技术网

首页 1 2 3 4 5 6 7

Hadoop单机模式和单节点区别?

一、相同点:

1、运行机器数相同

单机(非分布式)模式与伪分布式都是在一台单机上运行。

二、不同点:

1、分布式文件系统不同

1)、单机(非分布式)模式,没有分布式文件系统,而是直接读写本地操作系统的文件系统。

2)、伪分布式用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。

2、启动进程不同

1)、单机(非分布式)模式下,Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。

2)、伪分布式模式下,Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是相互独立的Java进程。

3、配置文件处理方式不同

1)、单机(非分布式)模式下,不对配置文件进行修改。

2)、伪分布式模式下,修改3个配置文件:core-site.xml(Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)。

java ared,Hadoop单机模式和单节点区别