一、前提环境
linux 集群
jdk6+
maven3+
hadoop2.6.0+
protobuf
///参考:http://www.tuicool.com/articles/nYZrmi
##前提:需要gcc, gcc-c++, make, build等编译环境
##yum -y install gcc gcc-c++ libstdc++-devel make build
1. 下载protobuf源代码(当前最新版本为:2.5.0)
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
2. 解压,编译,安装
tar zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
make
make check
make install
3. 继续安装protobuf的python模块(如果不用python,可跳过这一步)
cd ./python
python setup.py build
python setup.py test
python setup.py install
4. 安装完成,验证Linux命令
protoc –version
安装Nodejs及npm
//安装必要的make以及gcc,gcc-c++编译器
//yum -y install make gcc gcc-c++
//获取源码
wget http://nodejs.org/dist/v0.8.14/node-v0.8.14.tar.gz
//解压源码
tar -zxvf node-v0.8.14.tar.gz
//进行编译及安装
cd node-v0.8.14
./configure
make && make install
//创建链接,使用node时就不需要加入路径
ln -s /usr/local/bin/node /usr/bin/node
安装 GIT
1.下载 http://git-scm.com/download 上下载git-1.7.3.tar.gz
2.解压 tar -zxvf git-1.7.3.tar.gz
3.进行配置安装
cd git-1.7.3
./configure
make
make install
二、tez 安装配置
1、官网下载源码(此处为apache-tez-0.6.0-src.tar.gz)
2、解压源码包,tar -zxvf apache-tez-0.6.0-src.tar.gz
3、根据已部署hadoop版本变更 pom.xml中的hadoop.version配置项
4、编译源码:mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true
5、复制 tez编译包到 hdfs
hadoop dfs -mkdir /apps
hadoop dfs -mkdir /apps/tez-0.6.0
hadoop dfs -copyFromLocal $tez_home/tez-dist/target/tez-0.6.0.tar.gz /apps/tez-0.6.0/
6、节点TEZ的配置
解压编译包到节点目录:tar -zxvf$tez_home/tez-dist/target/tez-0.6.0.tar.gz
mkdir $tez_home/conf
touch $tez_home/conf/tez.xml
vi $tez_home/conf/tez.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" target="_blank" rel="external nofollow" ?>
<configuration>
<property>
<name>tez.version</name>
<value>tez-0.6.0</value>
</property>
<property>
<name>tez.lib.uris</name>
<value>${fs.default.name}/apps/${tez.version}/tez-0.6.0.tar.gz</value>
</property>
</configuration>
7、配置节点环境变量
vi ~/.bash_profile 或者 ~/.bashrc
##添加如下内容
#TEZ
export TEZ_HOME=$bigdata/apache/apache-tez-0.6.0
export TEZ_CONF_DIR=$TEZ_HOME/conf
export HADOOP_CLASSPATH=$TEZ_CONF_DIR:$TEZ_HOME/*:$TEZ_HOME/lib/*
8、测试 TEZ
$HADOOP_PREFIX/bin/hadoop jar $TEZ_HOME/tez-examples.jar orderedwordcount <input> <output>
9、测试 hive on tez
set hive.executioon.engine=tez;
select count(*) from test;
原文链接:https://blog.csdn.net/weixin_34262482/article/details/92033714