尚硅谷_Spark调优

课程介绍

Spark是大数据工程师的必备技能之一，本套Spark性能调优教程从多个角度详解Spark调优策略，包括资源配置调优、Spark SQL语法调优、执行计划解读、数据倾斜问题解决、Job优化、Spark 3.0新特性详解等。每个角度都提供了多种解决方案参考，并提出了详细的配置参数，剖析了常见的故障排除手法，可解决工作中遇到的各种Spark疑难杂症。 教程基于Spark 3.0版本，拆解了Spark 3.0的新特性：AQE（自适应查询执行）、DPP（动态分区裁剪）、Hint增强，新增了谓词下推、列剪裁、常量替换、基于CBO的优化等Spark SQL优化手段。教程内容涉及面广、系统性强，将常用的Spark优化手段综合分类，提供了多种解决方案，在讲解常见问题的前提下，更注重培养解决问题的通用思路，让学习者可以触类旁通举一反三。

视频目录

01.尚硅谷_Spark调优-课程简介
02.尚硅谷_Spark调优-执行计划-准备测试数据和表
03.尚硅谷_Spark调优-执行计划-执行流程&案例实操解读
04.尚硅谷_Spark调优-资源规划-资源设定上限估算
05.尚硅谷_Spark调优-资源规划-精确内存估算
06.尚硅谷_Spark调优-资源规划-精确调整内存各比例
07.尚硅谷_Spark调优-缓存调优-RDD-进行cache
08.尚硅谷_Spark调优-缓存调优-RDD-cache结合kryo序列化
09.尚硅谷_Spark调优-缓存调优-DS-cache和序列化
10.尚硅谷_Spark调优-CPU调优-合理利用CPU资源
11.尚硅谷_Spark调优-语法优化-RBO-inner join的谓词下推
12.尚硅谷_Spark调优-语法优化-RBO-外关联的谓词下推
13.尚硅谷_Spark调优-语法优化-RBO-列裁剪&常量替换
14.尚硅谷_Spark调优-语法优化-CBO-Statics统计&CBO使用效果
15.尚硅谷_Spark调优-语法优化-广播Join
16.尚硅谷_Spark调优-语法优化-Join-SMB Join原理
17.尚硅谷_Spark调优-语法优化-Join-SMB Join效果演示
18.尚硅谷_Spark调优-数据倾斜-现象&原因&抽样定位大key
19.尚硅谷_Spark调优-数据倾斜-单表数据倾斜处理
20.尚硅谷_Spark调优-数据倾斜-Join-使用广播Join
21.尚硅谷_Spark调优-数据倾斜-Join-拆分key 打散大表 扩容小表
22.尚硅谷_Spark调优-Map端优化-使用Map端预聚合
23.尚硅谷_Spark调优-Map端优化-读取小文件优化
24.尚硅谷_Spark调优-Map端优化-调大ShuffleWrite溢写时的输出流缓冲&源码分析
25.尚硅谷_Spark调优-Reduce端优化-输出产生小文件优化-调整并行度&缩小分区
26.尚硅谷_Spark调优-Reduce端优化-动态分区插入小文件优化
27.尚硅谷_Spark调优-Reduce端优化-提高Reduce端缓冲区&重试次数&重试等待间隔
28.尚硅谷_Spark调优-Reduce端优化-合理使用bypass
29.尚硅谷_Spark调优-Job优化-调节数据本地化等待时间
30.尚硅谷_Spark调优-Job优化-堆外内存的版本区别
31.尚硅谷_Spark调优-Job优化-使用堆外缓存
32.尚硅谷_Spark调优-Job优化-调整连接等待时长
33.尚硅谷_Spark调优-Spark3.0-AQE-动态合并分区&动态申请资源
34.尚硅谷_Spark调优-Spark3.0-AQE-动态切换Join策略
35.尚硅谷_Spark调优-Spark3.0-AQE-自动优化join倾斜
36.尚硅谷_Spark调优-Spark3.0-DPP-动态分区裁剪
37.尚硅谷_Spark调优-Spark3.0-Hint增强
38.尚硅谷_Spark调优-常见故障思路简析