Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

Miette ·

更新时间:2024-09-20

· 703 次阅读

敲黑板，引入的依赖一定要 “compile” 或则 “runtime”，否则spark conf 无法初始化，这辈子也运行不了，千万不要是 “provided".

        
            org.apache.spark
            spark-sql_2.11
            ${spark.jar.version}
            compile

在一个maven项目中，如果存在编译需要而发布不需要的jar包，可以用scope标签，值设为provided。如下：

    
        javax.servlet.jsp
        jsp-api
        2.1
        provided

scope的其他参数如下：

compile
默认的scope，表示 dependency 都可以在生命周期中使用。而且，这些dependencies 会传递到依赖的项目中。适用于所有阶段，会随着项目一起发布
provided
跟compile相似，但是表明了dependency 由JDK或者容器提供，例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时，同时没有传递性。???
runtime
表示dependency不作用在编译时，但会作用在运行和测试时，如JDBC驱动，适用运行和测试阶段。
test
表示dependency作用在测试时，不作用在运行时。只在测试时使用，用于编译和运行测试代码。不会随项目发布。
system
跟provided 相似，但是在系统中要以外部JAR包的形式提供，maven不会在repository查找它。
引入 spark 依赖，尤其是 spark-core spark -streaming spark-mllib ，这个时候要注意两点，这些spark 依赖的版本也一定要和安装spark 根目录下jars 目录中的spark 相关jar包版本一致，通过观察 jars 中的spark 相关jar包都是 spark_*_2.11.0_2.1.0,一定要注意其中的版本，2.11.0代表的是spark 引用的scala 版本大号

作者：studyhardatEnglish

java.lang main lang exception JAVA IN spark Apache