spark开发环境搭建(idea scala maven)

IntellijIDEA2019

JDK 1.8+

scala插件的安装首先在欢迎界面点击Configure，选择plugins如下图所示：下面的第三个图是安装后的所以是uninstall 没有安装的话是 install ，安装成功后，点击OK退出

全局JDK和Scala SDK的设置如下图所示

新建maven项目:欢迎界面点击Create New Project，在打开的页面左侧边栏中，选择Maven，然后在右侧的Project SDK一项中，查看是否是正确的JDK配置项正常来说这一栏会自动填充的

导入spark依赖:         2.4.0         2.12                                org.apache.spark             spark-core_${scala.version}             ${spark.version}                               org.apache.spark             spark-streaming_${scala.version}             ${spark.version}                               org.apache.spark             spark-sql_${scala.version}             ${spark.version}                               org.apache.spark             spark-hive_${scala.version}             ${spark.version}                               org.apache.spark             spark-mllib_${scala.version}             ${spark.version}                                                          org.scala-tools                 maven-scala-plugin                 2.15.2                                                                                            compile                             testCompile                                                                                                          maven-compiler-plugin                 3.6.0                                      1.8                     1.8                                                            org.apache.maven.plugins                 maven-surefire-plugin                 2.19                                      true                                           

编写sprak代码打印hellow world! import org.apache.spark.sql.{ SparkSession} object SparkHellowWorld {   def main(args: Array[String]) {   val spark= SparkSession.builder.master('local').appName('WordCountLocal').getOrCreate    //如果是打成jar包运行则需要去掉 'local'因为在参数中会指定       spark.sparkContext.makeRDD(Seq('hellow Word!'))      .collect().foreach(println(_))   } }按如下图在本地运行