现在是大数据时代,Spark是大数据开发中耀眼的明星,Spark相关的人才更是受市场欢迎,下面介绍Spark2.0从入门到精通
工具/原料
1
IntelliJ IDEA
2
Scala环境
方法/步骤
1
在网上找好的spark入门视频,看视频有老师详细讲解,能降低学习曲线。
2
安装好Spark,最好是在集群上搞,如果没有条件可以先搭建本地的环境,搭建好开发环境。
3
在Spark官网,有官方的学习文档,同时可以找找市面上一些好的spark编程的书来同步学习。
4
学习官方示例,范围Spark RDD、Dataframe、流式处理、mllib等各方面内容,是很好入门例子,然后在官方例子基础上,练习自己写wordcount等入门例子。
5
利用IntelliJ IDEA下载Spark源码,看代码时,重要API要点进去看一下源码实现。学习源码是从入门到精通的毕竟之路。
6
找找网上的开源代码,或者自己实现几个类似真实线上项目,例如分析日志的系统、电影推荐系统。
上一篇:如何安装spark
下一篇:《奇迹暖暖》清秀佳人高分搭配攻略