./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class
今天一直遇到spark异常,从来没有见到过这种异常,百度搜索也总是搜索不到,只能一个一个改配置文件,我以前的配置文件是配置了
HADOOP_CONF_DIR=/root/hadoop-2.7.3/etc/hadoop
export JAVA_HOME=/root/local/jdk1.8
SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077
但是一直报错,我查询了很多资料都没有说这样配置错误,但是运行./start-all.sh时没错,一旦运行./spark-shell命令时就崩溃了,连namenode也一起崩了。
解决:
我后来把配置文件都删了只留下一个HADOOP_CONF_DIR配置就可以运行了,感觉到很奇怪。
时间: 2024-12-30 12:57:26