大数据开发千亿级数仓技术在线教育数仓实战(视频+源码+资料)

大数据开发千亿级数仓技术在线教育数仓实战(视频+源码+资料)

课程简介:
通过项目实战 ,强化构建企业级离线数仓项目全流程 ,具备构建企业级数据仓库能力和要求

本视频主要面向的群体是:
* 有SQL基础
* 有Hadoop、Hive基础
* 想要更加深入大数据数仓技术

讲解方式:
本课程的讲解注重理论联系实际,高效快捷,深入浅出 ,让你快速掌握Hive数仓实战 。让有经验的工程师也能有所收获

课程内容:
1 、建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理 。
2 、项目从需求调研、设计、版本控制 、研发、测试到落地上线 ,涵盖了项目的完整工序。
3、挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市 ,供各个场景主题使用。

课程目录:
Day01_教育项目
01-教育项目的基本介绍.mp4
02-教育项目的业务流程.mp4
03-教育项目的架构流程说明.mp4
04-cloudera manager的基本介绍.mp4
05-cloudera manager的架构以及功能描述.mp4
06-教育项目的环境初始化工作.mp4
07-教育项目的环境搭建_如何连接以及基本操作.mp4
08-教育项目的环境注意事项.mp4
09-教育项目_数据仓库的基本概念.mp4
10-上午内容的总结.mp4
11-数据仓库和数据集市基本介绍.mp4
12-维度分析基本介绍_维度和指标的介绍以及分类.mp4
13-维度分析基本介绍_分层分级以及下钻和上卷.mp4
14-数仓建模的基本介绍.mp4
15-事实表和维度表的基本介绍.mp4
16-事实表和维度表的分类介绍.mp4
17-维度建模的三种模型(星型,雪花和星座)基本概念.mp4
18-维度建模的三种数仓发展模型图解.mp4
19-维度建模_缓慢渐变维基本介绍.mp4
20-今日总结.mp4
Day02_教育项目
01-课前回顾和今日内容.mp4
02-教育项目的数仓分层架构说明.mp4
03-HUE相关的操作_HDFS和HIVE.mp4
04-oozie的基本介绍.mp4
05-oozie的基本使用操作.mp4
06-sqoop的基本介绍.mp4
07-sqoop的相关的操作_基本操作.mp4
08-上午内容的总结.mp4
09-sqoop的相关的操作_全量导入到HDFS操作.mp4
10-sqoop的相关的操作_全量导入到hive的操作.mp4
11-sqoop的相关的操作_条件导入到HDFS和hive操作.mp4
12-sqoop的相关的操作_数据导出操作以及相关参数.mp4
13-访问咨询主题看板_需求分析(前四个).mp4
14-访问咨询主题看板_需求分析(后四个).mp4
15-访问咨询主题看板_需求分析总结.mp4
16-访问咨询主题看板_业务数据准备工作.mp4
17-访问咨询主题看板_建模分析(前三层).mp4
18-访问咨询主题看板_建模分析(后三层).mp4
Day03_教育项目
01-课前回顾及今日内容.mp4
02-访问咨询主题看板_建模操作(前置说明).mp4
03-访问咨询主题看板_建模操作.mp4
04-访问咨询主题看板_hive基础优化(上).mp4
04-访问咨询主题看板_hive基础优化(下).mp4
05-上午内容的总结.mp4
06-访问咨询主题看板_数据采集操作以及hiveserver2服务异常.mp4
07-访问咨询主题看板_数据清洗转换操作(SQL实现,未解决转换).mp4
08-访问咨询主题看板_数据清洗转换(转换解决).mp4
09-访问咨询主题看板_数据清洗转换操作(最终实现).mp4
10-访问咨询主题看板_数据分析(总访问量统计).mp4
11-访问咨询主题看板_数据分析(统计各个受访页面).mp4
12-访问咨询主题看板_数据分析(咨询量统计).mp4
13-访问咨询主题看板_数据导出操作(咨询量导出).mp4
14-访问咨询主题看板_数据导出操作(访问量).mp4
15-今日总结.mp4
Day04_教育项目
01-课前的回顾和今日内容.mp4
02-访问咨询主题看板_新增数据模拟.mp4
03- 访问咨询主题看板_增量数据采集操作(sqoop脚本编写以及shell讲解).mp4
04-访问咨询主题看板_增量数据采集的shell脚本的编写.mp4
05-访问咨询主题看板_增量数据采集shell脚本测试操作.mp4
06-访问咨询主题看板_增量数据采集操作(oozie配置).mp4
07-访问咨询主题看板_增量数据清洗转换操作.mp4
08-访问咨询主题_增量数据统计分析(SQL实现以及思考点)(上).mp4
09-上午内容的总结.mp4
10-访问咨询主题看板_增量统计分析操作(问题解决).mp4
11-访问咨询主题看板_增量统计分析(shell脚本编写和测试).mp4
12-访问咨询主题看板_增量数据导出操作.mp4
13-意向用户主题看板_需求分析(前三个).mp4
14-意向用户主题看板_需求分析(后三个).mp4
15-意向用户主题看板_需求分析总结.mp4
16-意向用户主题看板_业务数据准备.mp4
17-今日总结.mp4
Day05_教育项目
01-课前回顾和今日的内容.mp4
02-意向用户主题看板_建模分析操作(ODS,DIM,DWD).mp4
03-意向用户主题看板_建模分析(后三层).mp4
04-分桶表的基本介绍以及作用说明.mp4
05-分桶表的作用_抽样函数的说明.mp4
06-分桶表的作用_提升查询效率(多表)_map join.mp4
07-分桶表的作用_提升查询的效率(多表)_bucket map join.mp4
08-上午内容总结.mp4
09-分桶表的作用_提升查询的效率(多表)SMB join操作.mp4
10-意向用户主题看板_建模操作.mp4
11-意向用户主题看板_数据采集(DIM).mp4
12-意向用户主题看板_数据采集(ODS层).mp4
13-意向用户主题看板_数据清洗转换操作(涵盖采样以及查看执行计划).mp4
14-意向用户主题看板_DWM层数据生成(SQL实现).mp4
15-意向用户主题看板_DWM层数据生成(优化的效率测试).mp4
16-意向用户主题看板_DWM层数据生产(最终实现).mp4
17-意向用户主题看板_DWS层数据生成操作.mp4
18-意向用户主题看板_DWS层数据导出操作.mp4
Day06_教育项目
01-课前回顾&今日内容.mp4
02-拉链表的实现流程分析(上).mp4
03-拉链表的实现流程分析(下).mp4
04-拉链表的实现流程_项目增量流程说明.mp4
05-索引的基本介绍.mp4
06-hive索引的分类_原始索引和行组索引.mp4
07-hive的所有分类_布隆过滤索引.mp4
Day07_教育项目
01-今日内容说明.mp4
02-hive的函数补充说明.mp4
03-hive的相关优化_并行优化(并行编译和并行执行).mp4
04-hive的相关的优化_小文件合并操作.mp4
05-hive的相关优化_矢量化查询和读取零拷贝.mp4
06-hive的数据倾斜优化_group by 倾斜.mp4
07-hive的数据倾斜优化_join的数据倾斜.mp4
08-hive的数据倾斜优化_如何感知倾斜以及union优化.mp4
09-hive的优化的总结说明.mp4
10-上午内容的总结.mp4
11-学生出勤主题看板_需求分析(前四个).mp4
12-学生出勤主题看板_需求分析(后四个).mp4
13-学生出勤主题看板_需求分析总结.mp4
14-学生出勤主题看板_业务数据准备工作.mp4
15-学生出勤主题看板_建模分析操作.mp4
16-学生出勤主题看板_建模操作.mp4
17-学生出勤主题看板_数据采集操作.mp4
18-今日 总结.mp4
Day08_教育项目
01-课前 回顾和今日内容.mp4
02-学生出勤主题看板_DWM层(学生出勤信息表处理)_上.mp4
03-学生出勤主题看板_DWM层(学生出勤状态信息表)_中.mp4
04-学生出勤主题看板_DWM层(学生出勤状态信息表)_下.mp4
05-学生出勤主题看板_DWM层(学生出勤状态信息表)_完整实现以及总结.mp4
06-学生出勤主题看板_DWM层(班级出勤人数表)_整体实现.mp4
07-学生出勤主题看板_DWM层(请假人数信息表)_上.mp4
08-上午内容的总结.mp4
09-学生出勤主题看板_DWM层(请假人数表)_中.mp4
10-学生出勤主题看板_DWM层(学生请假人数表)_下.mp4
11-学生出勤主题看板_DWM层(请假人数表)_最终实现操作.mp4
12-学生出勤主题看板_DWM层(班级旷课人数表)_实现操作.mp4
13-学生出勤主题看板_DWM层(汇总表)_实现.mp4
14-学生出勤主题看板_DWS层实现操作.mp4
15-商业BI基本介绍.mp4
16-finebi的安装操作.mp4
17-finebi的数据源以及数据准备工作.mp4
18-finebi的图表展示操作_仪表盘构建.mp4
19-finebi实现图表展示操作_上.mp4
20-finebi实现图表展示操作_下.mp4
21-今日总结.mp4
Day09_GIT补充部分
01-git的历史和SVN对比说明.mp4
02-GIT的工作流程.mp4
03-GIT的安装操作.mp4
04-git如何构建版本库.mp4
05-git基本操作_自己玩的流程.mp4
06-git案例_如何提交代码(如何设置忽略).mp4
07-git远程仓库的基本介绍.mp4
08-git的远程仓库操作_如何配置免密以及如何推送到远端(命令).mp4
09-git的远程仓库操作_基于图形化界面方式推送数据到远端.mp4
10-git的远程仓库操作_如何拉取代码及其协作开发.mp4
11-git的分支管理_基本概念介绍.mp4
12-git的分支的管理_相关的操作.mp4
13-git如何在IDEA中使用操作.mp4