pyspark启动python的版本设置

spark安装以后以pyspark启动spark交互式界面的时候，默认是系统自带的Python版本启动，而本机是以python2的版本启动，如下所示：

spark要以python3的方式启动，需要本地安装有python3，如果没有可以参照下面的方式安装python3，然后在配置文件中加入PYSPARK_PYTHON变量，指定python3的路径信息：

第一步：本地安装python3

本机是centos6.6的系统，Python版本到官网下载安装包:https://www.python.org/downloads/，根据自己的需求，下载对应的python包。
本文下载的xz版本的源码Python包，如图所示，根据自己的需求下载对应的版本：

Python的包安装过程：

1. # 准备编译环境
2. yum groupinstall 'Development Tools'
3. yum install zlib-devel bzip2-devel openssl-devel ncurses-devel
4. # 创建安装目录
5. mkdir /usr/local/python3
6. # 解压
7. tar -xvJf Python-3.6.5.tar.xz
8. # 编译安装
9. cd Python-3.6.5
10. ./configure --prefix=/usr/local/python3 --enable-optimizations
11. make && make install
12. # 创建软连接
13. ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3

复制代码

注意：要安装包的编译环境，否则会出现错误。

第二步：加入PYSPARK_PYTHON变量

1. # 编辑.bashrc文件
2. vi ~/.bashrc

复制代码

加入变量

1. # 加入PYSPARK_PYTHON
2. export PYSPARK_PYTHON=/usr/local/python3/bin/python3

复制代码

更新配置文件

1. # 更新配置文件
2. source ~/.bashrc

复制代码

重新启动pyspark,如图所示

或者在使用pycharm开发的时候导入环境变量就可以。