aws emrでpython3を使う方法

2019/10/07

emrのマスターノードにsshで入り

sudo sed -i -e '$a export PYSPARK_PYTHON=/usr/bin/python3' /etc/spark/conf/spark-env.sh

1	sudo sed -i -e '$a export PYSPARK_PYTHON=/usr/bin/python3' /etc/spark/conf/spark-env.sh

を実行することにより、python3を使用できるようになります。