淘先锋技术网

首页 1 2 3 4 5 6 7

hadoop完全分布式模式搭建和hive安装

简介

Hadoop是用来处理大数据集合的分布式存储计算基础架构。可以使用一种简单的编程模式,通过多台计算机构成的集群,分布式处理大数据集。hadoop作为底层,其生态环境很丰富。

hadoop基础包括以下四个基本模块:

  • hadoop基础功能库:支持其他hadoop模块的通用程序包。
  • HDFS: 一个分布式文件系统,能够以高吞吐量访问应用的数据。
  • YARN: 一个作业调度和资源管理框架。
  • MapReduce: 一个基于YARN的大数据并行处理程序。

当然,hadoop相关的项目很多,包括HBase, Hive, Spark, ZooKeeper等。

基础准备

基础准备工作包括:安装环境的准备,ssh配置

安装环境的准备

首先需要3台机器(后续也可以扩展),我准备的是虚拟机中的3个ubuntu 16.04.2. 内存1G.
创建用户:

机器名用户名IP密码Node
masterhadoop10.10.10.3**NameNode
slave1hadoop10.10.10.4**DataNode
slave2hadoop10.10.10.5**DataNode
# 更新apt
$ sudo apt-get update

# 安装vim
$ sudo apt-get install vim

# 查看IP
$ ifconfig

# 新建用户hadoop,主目录为/home/hadoop
$ useradd -d /home/hadoop -m hadoop
# 将hadoop用户加到root组
$ usermod -a -G root

# 重命名机器名
$ sudo vim /etc/hostname
# hostname
master

安装java

# 检验java是否安装
$ echo $JAVA_HOME
/usr/jdk/jdk1.8.0_121
$ java -version

ssh配置

主要目的是配置ssh免密码,使3台机器可以互相访问。

# 检验ssh是否安装完成
$ ssh localhost

hadoop@master:~$ ssh slave1
Welcome to Ubuntu 16.04.2 LTS (GNU/Linux 4.8.0-49-generic x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

257 packages can be updated.
3 updates are security updates.

*** System restart required ***
hadoop@slave1:~$ 
  • 分别在四台机器上生成密钥对
# 进入hadoop用户主目录
$ cd ~
# 生成密钥对
$ ssh-keygen -t rsa

详细可以参考其他文章。

hadoop安装包

hadoop下载地址(2.9.0):http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.9.0.tar.gz

hive下载地址(0.9.0):http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz

# 解压文件到/home/hadoop
$ cd <gzip文件目录>
$ sudo tar -zxf hadoop-2.9.0.tar.gz -C /home/hadoop

hadoop可以先下载到windows,配置好后sftp到ubuntu /home/hadoop上。
主要修改如下:

  • core-site.xml
  • hadoop-env.sh
  • hdfs-site.xml
  • mapred-env.sh
  • mapred-site.xml.template
  • masters
  • slaves
  • yarn-site.xml
  • yarn-evn.sh
    新建目录(按配置文件内容来):
  • /home/hadoop/hadoop-2.9.0/tmp
  • /home/hadoop/hadoop-2.9.0/tmp/dfs/name
  • /home/hadoop/hadoop-2.9.0/tmp/dfs/data

然后,上传到master. 再从主目录复制到slave1, slave2上:

# 如下是复制命令,也可以打包后传送
$ scp -r /home/hadoop/hadoop-2.9.0/ slave1:/home/hadoop
$ scp -r /home/hadoop/hadoop-2.9.0/ slave2:/home/hadoop

hadoop安装后配置

环境变量设置

在/etc/profile中添加环境变量,需要在所有机器上执行

$ sudo vim /etc/profile
# 添加成功后执行
$ source /etc/profile

详细内容如下:

export JAVA_HOME=/usr/jdk/jdk1.8.0_121
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib

export HADOOP_HOME=/home/hadoop/hadoop-2.9.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

完成配置

在master上执行

# 格式化HDFS
$ hdfs namenode -format

# 格式化成功后,启动HDFS
$ start-dfs.sh
# 启动YARN
$ start-yarn.sh

# 验证
hadoop@master:~$ jps
3472 SecondaryNameNode
3255 NameNode
15307 Jps

可以ssh slave1, 用jps查看slave1上的情况。由于前面没有配置YARN, 所以ResourceManager服务没有启动。

另外,可以在浏览器上查看NameNode: <50070> 或者 <10.10.10.3:50070>.50070>

报错

搭建过程中难免出错,需要多看些文章。但是最重要是,看报错的日志,分析原因。

我搭建中,主要遇到如下。第一个是用户权限的问题,如下的hive也是如此。可以用ls -lh查看权限情况。第二、三两个,主要是环境变量配置的问题,需要按教程一步步做。

  • permission denied
  • command not found
  • jar包未发现

hive配置

hive安装

hive软件包下载好后,可以sftp到mater机器上。也可以直接在机器上操作。

# 注意需要大O
$ curl -O http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz
$ sudo tar -zxf hive-0.9.0.tar.gz -C /home/hadoop
$ cd /home/hadoop/hive-0.9.0
$ sudo mkdir warehouse
$ sudo chmod a+rwx /home/hadoop/hive-0.9.0/warehouse

# 其他命令
# 将文件夹名改为hadoop
$ sudo mv ./hadoop-2.9.0/ ./hadoop

# 删除文件夹
# -r 就是向下递归,管理有多少级目录,一并删除
# -f 就是直接强行删除,不作任何提示的意思
$ sudo rm -rf [文件夹名]

hive环境变量

只需要配置master即可:

# /etc/profile
export HIVE_HOME=/home/hadoop/hive-0.9.0/
export PATH=$PATH:$HIVE_HOME/bin

hive测试

$ cd $HIVE_HOME
$ bin/hive
hive> create table x (a int);
OK
Time taken: 6.267 seconds
hive> select * 
    > from x;
OK
Time taken: 0.532 seconds
hive> select * from x;
OK
Time taken: 0.082 seconds
hive> exit;

参考

[]hadoop构建数据仓库实践,王雪迎,清华大学出版社
[]hive编程指南,E.C., D.W., J.R., 曹坤,人民邮电出版社
[]http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
[]http://blog.csdn.net/wild46cat/article/details/78939284
[]http://blog.csdn.net/ab198604/article/details/8250461
[]http://blog.csdn.net/EdwinBalance/article/details/78640323

转载于:https://www.cnblogs.com/mszhai/p/8331163.html