对于Python开发者来说,使用Anaconda是很爽的。linux安装好后,如何在pyspark中也可以使用Anaconda呢?这里笔者研读了下pyspark的脚本,这里给出解决方案。
安装Anaconda后,需要配置下bash_profile文件。
export PYSPARK_PYTHON=/home/peiwen/anaconda2/bin
export IPYTHON="1"
(PS:直接在pyspark脚本前面加上export IPYTHON="1"也是很不错的选择)
并且将PYSPARK_PYTHON添加到PATH中去。
我的配置文件如下:
完事以后source 下。。
这个时候,再./bin/pyspark,就搞定啦
简直是Python用户开发Spark的利器呀。。