首页 1 2 3 4 5 6 7

spark配置

介绍

高性能并行计算引擎storm和spark的比较：

storm：
实时计算模型：纯实时，来一条数据，处理一条数据

健壮性/容错性：ZooKeeper，Acker，非常强

动态调整并行度：支持
spark：
实时计算模型：准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理

健壮性/容错性：Checkpoint，WAL，一般

动态调整并行度：不支持

原文：https://www.jianshu.com/p/5626612bf10c

spark配置

1.解压配置文件

只用下载spark对应版本,scala自带不用下。下载spark一定要在官网选好，比如我之前安装了hadoop，所以选择spark-3.0.1-bin-without-hadoop版本

配置spark-env.sh

cd /usr/spark-3.0.1-bin-without-hadoop/conf
cp spark-env.sh.template spark-env.sh。
vim spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_261
#export SCALA_HOME={SCALA}
export HADOOP_HOME=/usr/hadoop
export SPARK_HOME=/usr/spark-3.0.1-bin-without-hadoop
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
export SPARK_MASTER_HOST=om-ds-1.novalocal
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_PORT=7078
export SPARK_MASTER_PORT=7077
#export SPARK_DIST_CLASSPATH=$HADOOP_HOME/share/hadoop/common/hadoop-common-3.1.3.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.1.3.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar
export SPARK_DIST_CLASSPATH=$(/usr/hadoop/bin/hadoop classpath)
export SPARK_WORKER_DIR=/usr/spark-3.0.1-bin-without-hadoop/work

配置slaves

cp slaves.template slaves

配置/etc/profile

# set spark path
export SPARK_HOME=/usr/spark-3.0.1-bin-without-hadoop
export PATH=$PATH:/usr/spark-3.0.1-bin-without-hadoop/bin:/usr/spark-3.0.1-bin-without-hadoop/sbin