千锋大数据教程:Spark基础及源码分析
课程介绍:
1.本视频面向拥有Java语言基础的同学,以Java语言为蓝本 ,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。
2.视频讲解与实例练习相结合 ,通过看视频也能保证知识得到充分的实践,知识掌握更牢靠 。
3.语言部分由浅入深,在掌握函数式编程和面向对象的基础上能够掌握高阶函数编程(作为值的函数、柯里化 、隐式值、隐式转换) ,使得学生可以胜任项目中的开发之外,还可以读懂Spark源码,为以后研究Spark架构和自己编写架构奠定扎实的基础。
4.在综合案例实现过程中,通过使用Akka通信模型实现RPC远程通信框架 ,这样既可以深入了解Spark的通信机制,又提升了Scala语言的开发技能。
5.通过学习scala语言部分的课程,学生能够具备一名中级scala开发工程师水平 。
6.本视频 ,系统全面的讲解Spark环境的搭建以及与Hadoop生态圈的衔接。
7.在Scala语言的基础上,深入理解Spark常用算子和高级算子的使用场景,使得学生在以后的开发过程中能够灵活运用Spark核心技术。
8.讲解Spark生态 ,开发与性能调优双管齐下,分享企业中实战技能,学生学习更全面 ,更实际 。
9.深入讲解Spark源码和Spark框架,从内到外,挖掘Spark的五脏六腑 ,做到深入,再深入。学生可以从原理,从基石上了解Spark生态的方方面面。
课程目录:
1.Scala语言环境安装、Scala的基本语法
2.常用方法练习
3.面向对象 、模式匹配
4.Actor、柯里化、隐式转换
5.泛型 、Akka
6.Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务
7.RDD的基本概念、常用算子练习
8.案例练习
9.Spark集群启动流程和任务提交流程 、案例练习
10.RDD的依赖关系、Stage划分、任务的生成 、自定义排序
11.Day11 Checkpoint、SparkSQL、Hive-On-Spark
12.SparkStreaming 、窗口操作、Spark-On-Yarn
13.源码分析:Spark启动流程、Stage划分 、任务生成、任务提交流程