多语言展示
当前在线:1203今日阅读:31今日分享:25

Spark2.0从入门到精通教程

现在是大数据时代,Spark是大数据开发中耀眼的明星,Spark相关的人才更是受市场欢迎,下面介绍Spark2.0从入门到精通
工具/原料
1

IntelliJ IDEA

2

Scala环境

方法/步骤
1

在网上找好的spark入门视频,看视频有老师详细讲解,能降低学习曲线。

2

安装好Spark,最好是在集群上搞,如果没有条件可以先搭建本地的环境,搭建好开发环境。

3

在Spark官网,有官方的学习文档,同时可以找找市面上一些好的spark编程的书来同步学习。

4

学习官方示例,范围Spark RDD、Dataframe、流式处理、mllib等各方面内容,是很好入门例子,然后在官方例子基础上,练习自己写wordcount等入门例子。

5

利用IntelliJ IDEA下载Spark源码,看代码时,重要API要点进去看一下源码实现。学习源码是从入门到精通的毕竟之路。

6

找找网上的开源代码,或者自己实现几个类似真实线上项目,例如分析日志的系统、电影推荐系统。

推荐信息