淘先锋技术网

首页 1 2 3 4 5 6 7

一、前提环境

      linux 集群

      jdk6+

      maven3+

      hadoop2.6.0+

      protobuf

          ///参考:http://www.tuicool.com/articles/nYZrmi

            ##前提:需要gcc, gcc-c++, make, build等编译环境 

            ##yum -y install gcc gcc-c++ libstdc++-devel make build

            

            1. 下载protobuf源代码(当前最新版本为:2.5.0) 

            wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

            

            2. 解压,编译,安装 

            tar zxvf protobuf-2.5.0.tar.gz 

            cd protobuf-2.5.0 

            ./configure 

            make 

            make check 

            make install

            

            3. 继续安装protobuf的python模块(如果不用python,可跳过这一步) 

            cd ./python 

            python setup.py build 

            python setup.py test 

            python setup.py install

            

            4. 安装完成,验证Linux命令 

            protoc –version


      安装Nodejs及npm

            //安装必要的make以及gcc,gcc-c++编译器

            //yum -y install make gcc gcc-c++

            //获取源码

            wget http://nodejs.org/dist/v0.8.14/node-v0.8.14.tar.gz

            //解压源码

            tar -zxvf node-v0.8.14.tar.gz

            //进行编译及安装

            cd node-v0.8.14

            ./configure

            make && make install

            //创建链接,使用node时就不需要加入路径

            ln -s /usr/local/bin/node /usr/bin/node

      安装 GIT

            1.下载 http://git-scm.com/download 上下载git-1.7.3.tar.gz

            2.解压 tar -zxvf git-1.7.3.tar.gz

            3.进行配置安装

            cd git-1.7.3

            ./configure

            make

            make install


二、tez 安装配置

1、官网下载源码(此处为apache-tez-0.6.0-src.tar.gz)

2、解压源码包,tar -zxvf apache-tez-0.6.0-src.tar.gz

3、根据已部署hadoop版本变更 pom.xml中的hadoop.version配置项

4、编译源码:mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

5、复制 tez编译包到 hdfs

      hadoop dfs -mkdir /apps

      hadoop dfs -mkdir /apps/tez-0.6.0

      hadoop dfs -copyFromLocal $tez_home/tez-dist/target/tez-0.6.0.tar.gz /apps/tez-0.6.0/

6、节点TEZ的配置

      解压编译包到节点目录:tar -zxvf$tez_home/tez-dist/target/tez-0.6.0.tar.gz

      mkdir $tez_home/conf

      touch $tez_home/conf/tez.xml

      vi $tez_home/conf/tez.xml

          <?xml version="1.0" encoding="UTF-8"?>

        <?xml-stylesheet type="text/xsl" href="configuration.xsl" target="_blank" rel="external nofollow" ?>

        <configuration>

          <property>

            <name>tez.version</name>

            <value>tez-0.6.0</value>

          </property>

          <property>

            <name>tez.lib.uris</name>

            <value>${fs.default.name}/apps/${tez.version}/tez-0.6.0.tar.gz</value>

          </property>

        </configuration>

7、配置节点环境变量

       vi ~/.bash_profile 或者 ~/.bashrc

     ##添加如下内容

        #TEZ

        export TEZ_HOME=$bigdata/apache/apache-tez-0.6.0

        export TEZ_CONF_DIR=$TEZ_HOME/conf

        export HADOOP_CLASSPATH=$TEZ_CONF_DIR:$TEZ_HOME/*:$TEZ_HOME/lib/*


8、测试 TEZ

     $HADOOP_PREFIX/bin/hadoop jar $TEZ_HOME/tez-examples.jar orderedwordcount <input> <output>

9、测试 hive on tez

     set hive.executioon.engine=tez;

     select count(*) from test;


[Apache手册]Linux环境下配置Apache运行cgi

CGI动态页面相关模块相关指令 CGI(公共网关接口)定义了web服务器与外部内容生成程序之间交互的方法,通常是指CGI程序或者CGI脚本,它是在网站上实现动态页面的最简单和常用的方法。本文将对如何在Apacheweb服务器上....

Hive运行引擎Tez的安装

简介 Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output,Reduce被拆分成Input、Shuffle、Sort....

Linux apache编译安装

1.下载httpd-2.2.15.tar.gz [root@test-AS4~]#mkdir-P/usr/local/src/apache/   #创建源包存放的目录 [root@test-AS4~]#cd/usr/local/src/apache/          #把httpd-2.2.15.tar.gz放入此目录下 [root@test-AS4apach...