Flink是大数据实时计算领域的当红炸子鸡,凭借其优秀的计算性能备受业内青睐,对离线数据和实时数据处理的兼容并包,使其应用越加广泛。Flink已经成为高薪大数据工程师的必备技能之一。尚硅谷在发布Flink系列视频后,又研发推出了Flink性能调优教程,与之前发布的Flink系列教程相辅相成,可作关联学习。 本套Flink性能调优教程以企业实际开发环境为基础,从资源配置调优、状态及checkpoint调优、反压处理、数据倾斜、Job优化、Flink SQL调优六大角度出发,详细讲解了如何对Flink应用进行调优,并分别讲解了调优策略的内部机制及具体参数配置,可大大提高Flink开发效率,提升学习者的实战经验。教程中还广泛收集了常见的Flink开发故障,给出了问题解决思路及指导,从原理到实践,再到经验分享,一套教程讲透Flink性能调优。
视频目录 01.尚硅谷_Flink优化-课程介绍02.尚硅谷_Flink优化-资源调优-内存模型介绍03.尚硅谷_Flink优化-资源调优-内存分配计算案例04.尚硅谷_Flink优化-资源调优-合理利用CPU资源05.尚硅谷_Flink优化-资源调优-全局并行度设置方法06.尚硅谷_Flink优化-资源调优-全局并行度设置案例07.尚硅谷_Flink优化-资源调优-精细设置并行度的方式08.尚硅谷_Flink优化-大状态调优-开启State性能监控09.尚硅谷_Flink优化-大状态调优-开启增量检查点和本地恢复10.尚硅谷_Flink优化-大状态调优-选择合适的预定义选项11.尚硅谷_Flink优化-大状态调优-blockcache和writebuffer调优12.尚硅谷_Flink优化-大状态调优-开启分区索引功能&案例提交13.尚硅谷_Flink优化-Checkpoint-参数设置方法14.尚硅谷_Flink优化-反压介绍-反压的理解和危害15.尚硅谷_Flink优化-反压定位-利用WebUI定位反压节点16.尚硅谷_Flink优化-反压定位-利用Metrics定位反压节点17.尚硅谷_Flink优化-反压定位-利用Metrics进一步分析18.尚硅谷_Flink优化-反压处理-查看数据倾斜&查看火焰图19.尚硅谷_Flink优化-反压处理-分析GC情况20.尚硅谷_Flink优化-反压处理-外部组件交互21.尚硅谷_Flink优化-数据倾斜-keyby后的聚合存在数据倾斜22.尚硅谷_Flink优化-数据倾斜-keyby前&keyby后的窗口聚合存在数据倾斜23.尚硅谷_Flink优化-Job优化-使用DataGen造数据24.尚硅谷_Flink优化-Job优化-指定算子UUID25.尚硅谷_Flink优化-Job优化-链路延迟测量26.尚硅谷_Flink优化-Job优化-开启对象重用27.尚硅谷_Flink优化-Job优化-细粒度滑动窗口优化思路28.尚硅谷_Flink优化-Job优化-细粒度滑动窗口优化案例29.尚硅谷_Flink优化-FlinkSQL优化-TTL和miniBatch30.尚硅谷_Flink优化-FlinkSQL优化-LocalGlobal解决数据倾斜31.尚硅谷_Flink优化-FlinkSQL优化-Split Distinct功能32.尚硅谷_Flink优化-FlinkSQL优化-多维Distinct使用Filter语法33.尚硅谷_Flink优化-常见故障排除