淘先锋技术网

首页 1 2 3 4 5 6 7

hadoop-2.10.1百度云资源链接:
链接:https://pan.baidu.com/s/1agl2Cg8MrBSYyFM2vq_4GA
提取码:lbsm

上传hadoop压缩包至云服务器并解压

通过Xftp7将hadoop压缩包放到云服务器上
输入命令:

[root@master ~]# tar -xzvf /root/hadoop-2.10.1.tar.gz

跳转目录

[root@master ~]# cd /root/hadoop-2.10.1/etc/hadoop

配置hadoop-env.sh文件

[root@master hadoop]# vim hadoop-env.sh

找到下面这段在这里插入图片描述
修改紫色部分,改为jdk路径,如图
在这里插入图片描述

配置yarn-env.sh文件

[root@master hadoop]# vim yarn-env.sh

找到下面段代码
在这里插入图片描述
去除方框前面的#,并将路径修改为jdk路径,如图
在这里插入图片描述

配置core-site.xml文件

[root@master hadoop]# vim core-site.xml

添加以下代码

<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--用来指定使用hadoop时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoopdata</value>
</property>

结果如图
在这里插入图片描述

配置hdfs-site.xml文件

[root@master hadoop]# vim hdfs-site.xml

添加以下代码

<!--指定hdfs保存数据的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

结果如图
在这里插入图片描述

配置yarn-site.xml文件

[root@master hadoop]# vim yarn-site.xml

添加以下代码

<!--namenodeManager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定Yarn中ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>

结果如图
在这里插入图片描述

配置mapred-site.xml文件

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vim mapred-site.xml

添加以下代码

<!--指定MR(Map/Reduce)运行在Yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

结果如图
在这里插入图片描述

配置另外两台服务器

将master配置好的文件复制到另外两台服务器。

在master节点配置slave文件

[root@master hadoop]# vim slaves

用另外两台服务器的主机名替换文件中的内容

slave1
slave2

三台服务器配置hadoop系统环境变量

[root@master hadoop]# cd /root
[root@master ~]# vim ~/.bash_profile

添加以下内容之文件最后

#HADOOP
export HADOOP_HOME=/root/hadoop-2.10.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

结果如图
在这里插入图片描述

在三台服务器上创建数据目录

[root@master ~]# mkdir /root/hadoopdata

格式化系统文件

在master服务器下输入以下代码

[root@master ~]# hdfs namenode -format

启动hadoop集群

[root@master ~]# cd /root/hadoop-2.10.1
[root@master hadoop-2.10.1]# sbin/start-all.sh

查看进程

master执行jps命令结果
在这里插入图片描述
slave1和slave2执行jps命令的结果
在这里插入图片描述

浏览器查看集群是否启动成功

浏览器输入:{master公网ip:端口号}查看是否成功
端口号
50070
18088

如果上述验证都没有问题,说明集群正常启动。