多语言展示
当前在线:1232今日阅读:91今日分享:37

一键启动开发Spark2.1的IDE开发工具

在Windows64位环境下,不需要任何配置直接启动Eclipse的IDE工具,Spark环境自动搭建好(工程自带wordcount例子,可以直接运行)。IDE下载地址:https://pan.baidu.com/s/1eS22fWuSparkide0.2.1 绿色版sparkide 0.2.1版本 windows 64位版本,包含组件如下: Java Development Kit 1.8(64) Hadoop-2.7.3 windows(64) Spark-2.1.0-bin-hadoop2.7 Scala IDE 4.5.0-vfinal-2016-12-13T10:59:29Z-Typesafe4以下为详细导入实例Helloword过程,有任何问题,请联系 daofeng.he@gmail.com
工具/原料
1

spark2.1

2

jdk1.8

方法/步骤
1

1、解压到d盘目录,双击 sparkide_start.bat ,后续将详细描述导入自带Spark的RDD分词例子,helloword工程,目的是检验Spark2.1开发环境是否正常。

2

2、启动界面如下

3

3、进入IDE界面,点击左上角File,选择Import按钮。

4

4、点击上述import按钮后,选择general的Exitsing Projects into Workspace,点击Next按钮

5

5、点击Browse选择文件解压路径spark-ide-0.2.1_x86下的examples点击“确定“按钮。

6

6、看见hellowork自带工程,然后选择 Finish 按钮。

7

7、右键helloword工程,然后点击Properties,选择Java Build Path。

8

8、选择Add External JARS,选spark-ide-0.2.1_x86\spark-2.1.0-bin-hadoop2.7\jars目录所有Jar包,点击打开。

9

9、右键点击WordCount.scala,选择Run As->Scala Application

10

10、控制台 Console 出现如下文字,没有报错,表示正常运行。

11

11、运行完成后,右键工程hellwork,点击Refresh刷新按钮,将出现food.count.txt文件夹

12

12、双击part-00000,出现统计结果,可查看food.txt中所有文字进行了统计计算。

13

13、使用DecisionTreeClassificationExample,需要配置一下参数-Dspark.master=local

注意事项

windows64位

推荐信息