淘先锋技术网

首页 1 2 3 4 5 6 7

介绍

高性能并行计算引擎storm和spark的比较:

storm:
实时计算模型:纯实时,来一条数据,处理一条数据

健壮性/容错性:ZooKeeper,Acker,非常强

动态调整并行度:支持
spark:
实时计算模型:准实时,对一个时间段内的数据收集起来,作为一个RDD,再处理

健壮性/容错性:Checkpoint,WAL,一般

动态调整并行度:不支持

原文:https://www.jianshu.com/p/5626612bf10c

spark配置

1.解压配置文件

只用下载spark对应版本,scala自带不用下。下载spark一定要在官网选好,比如我之前安装了hadoop,所以选择spark-3.0.1-bin-without-hadoop版本

配置spark-env.sh

cd /usr/spark-3.0.1-bin-without-hadoop/conf
cp spark-env.sh.template spark-env.sh。
vim spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_261
#export SCALA_HOME={SCALA}
export HADOOP_HOME=/usr/hadoop
export SPARK_HOME=/usr/spark-3.0.1-bin-without-hadoop
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
export SPARK_MASTER_HOST=om-ds-1.novalocal
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_PORT=7078
export SPARK_MASTER_PORT=7077
#export SPARK_DIST_CLASSPATH=$HADOOP_HOME/share/hadoop/common/hadoop-common-3.1.3.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.1.3.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar
export SPARK_DIST_CLASSPATH=$(/usr/hadoop/bin/hadoop classpath)
export SPARK_WORKER_DIR=/usr/spark-3.0.1-bin-without-hadoop/work

配置slaves

cp slaves.template slaves

配置/etc/profile

# set spark path
export SPARK_HOME=/usr/spark-3.0.1-bin-without-hadoop
export PATH=$PATH:/usr/spark-3.0.1-bin-without-hadoop/bin:/usr/spark-3.0.1-bin-without-hadoop/sbin

2.启动spark并检验

在sbin中:

bash start-all.sh

jps查一下看看有没有worker和master

输入spark-shell看spark命令行是否能运行

打开http://192.168.233.68:8080/查看是否能登录到sparkui界面。这里因为我之前安装过storm所以查看端口是一样的,我没有修改配置文件,所以就关掉storm了。