PySpark 在工作程序中都需要使用的为默认环境的python版本,怎样把python的版本切换成3的版本,您可以通过 PYSPARK_PYTHON
指定要使用的Python版本。
python3 环境需要提前安装好,如果没按照可以参考centos7 下python2与python3共存
修改spark-env.sh文件, 在末尾添加export PYSPARK_PYTHON=/usr/bin/python3
若为集群环境,需要把修改后的 spark-env.sh 分发到其他子节点的spark安装包下的conf目录下
修改spark安装包bin目录下的pyspark,修改下图红色方框的位置,将原来PYSPARK_PYTHON=python改成PYSPARK_PYTHON=python3,同样的,其他子节点也都需要修改
1 |
if [[ -z "$PYSPARK_PYTHON" ]]; then |