尚硅谷_Flink实时数仓

课程介绍

在大数据处理领域，实时和离线各占非常大的比重，本套视频教程综合展示实时数据处理领域的一个重要应用：实时数仓项目。项目从数据采集开始，分别讲解了针对不同数据采取的不同采集策略，使用的不同数据采集工具。在数据处理部分，将实时采集的数据按照数据建模要求进行合理分层，使用当前最火热的实时计算引擎Flink，对实时计算结果进行可视化展示。 内容包括：搭建用户行为数据的实时数据采集框架Flume-Kafka-Flink；采用Canal、Maxwell、Flink CDC三种方案实现业务数据的实时采集；分层搭建实时数据仓库，包括ODS层、DWD层、DIM层、DWM层、DWS层、ADS层；数据可视化接口的实现；ClickHouse技术的深入讲解…… 每一部分讲解均参照实际开发环境，提供了多种问题的解决方案，引导学员对问题进行更深层的思考。通过本套教程的学习，你将掌握企业实际开发中实时数仓搭建的全流程，深入理解Flink的高阶应用实例，掌握开发环节多种框架技术。教程总计40小时+，附赠全部视频、代码、笔记及资料。 教程涵盖的关键技术点： 数仓架构深入讲解、离线架构与实时架构对比分析、SpringBoot项目搭建讲解、Nginx安装配置使用、Flink CDC深入案例分析、Maxwell与Canal对比分析、使用侧输出流分流操作、Flink与HBase交互、Flink状态编程应用、Flink CEP循环模式匹配、双流join、旁路缓存、异步IO编码、ClickHouse多引擎讲解、Flink SQL、数据可视化接口编写、Flink实战优化方案等。

视频目录

001.尚硅谷_Flink实时数仓-课程介绍
002.尚硅谷_Flink实时数仓-项目介绍
003.尚硅谷_Flink实时数仓-采集模块-课程介绍
004.尚硅谷_Flink实时数仓-采集模块-数仓分层之为什么分层
005.尚硅谷_Flink实时数仓-采集模块-数仓分层之分层明细
006.尚硅谷_Flink实时数仓-采集模块-整体需求介绍
007.尚硅谷_Flink实时数仓-采集模块-离线架构分析之Sqoop&Flume
008.尚硅谷_Flink实时数仓-采集模块-离线架构分析之FlumeTairDirSource问题提出&解决
009.尚硅谷_Flink实时数仓-采集模块-离线架构分析之Kafka
010.尚硅谷_Flink实时数仓-采集模块-离线架构分析之其他
011.尚硅谷_Flink实时数仓-采集模块-实时架构分析
012.尚硅谷_Flink实时数仓-采集模块-架构对比
013.尚硅谷_Flink实时数仓-采集模块-日志数据采集之需求分析
014.尚硅谷_Flink实时数仓-采集模块-日志数据采集之MockJar包测试
015.尚硅谷_Flink实时数仓-采集模块-日志数据采集之SpringBoot简单介绍
016.尚硅谷_Flink实时数仓-采集模块-日志数据采集之SpringBoot创建项目&简单测试
017.尚硅谷_Flink实时数仓-采集模块-日志数据采集之SpringBoot创建项目&加参数测试
018.尚硅谷_Flink实时数仓-采集模块-日志数据采集之数据落盘&写入Kafka 编码
019.尚硅谷_Flink实时数仓-采集模块-日志数据采集之数据落盘&写入Kafka 本地测试
020.尚硅谷_Flink实时数仓-采集模块-日志数据采集之数据落盘&写入Kafka 单机测试
021.尚硅谷_Flink实时数仓-采集模块-日志数据采集之Nginx 介绍
022.尚硅谷_Flink实时数仓-采集模块-日志数据采集之Nginx 安装&启动
023.尚硅谷_Flink实时数仓-采集模块-日志数据采集之Nginx 配置负载均衡&测试
024.尚硅谷_Flink实时数仓-采集模块-日志数据采集之集群测试
025.尚硅谷_Flink实时数仓-采集模块-业务数据采集之建库&建表
026.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC 什么是CDC&对比
027.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC 介绍
028.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStream方式 编码
029.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStream方式 测试
030.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 设置CK&打包&开启集群
031.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 打包进行断点续传测试
032.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC FlinkSQLAPI 编码&测试
033.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 格式说明
034.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 编码完成
035.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 代码测试
036.尚硅谷_Flink实时数仓-采集模块-业务数据采集之FlinkCDC DataStreamAPI&FlinkSQL对比
037.尚硅谷_Flink实时数仓-采集模块-业务数据采集之Maxwell 安装说明&测试
038.尚硅谷_Flink实时数仓-采集模块-业务数据采集之Canal 安装说明&测试
039.尚硅谷_Flink实时数仓-采集模块-业务数据采集之CDC对比
040.尚硅谷_Flink实时数仓-采集模块-业务数据采集之读取MySQL数据并写入Kafka 编码
041.尚硅谷_Flink实时数仓-采集模块-业务数据采集之读取MySQL数据并写入Kafka 测试
042.尚硅谷_Flink实时数仓-DWD&DIM-课程介绍
043.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 需求分析
044.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 思路整理&消费Kafka数据
045.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 将数据转换为JSON对象
046.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 新老用户校验
047.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 侧输出流&写入Kafka
048.尚硅谷_Flink实时数仓-DWD&DIM-行为数据 测试
049.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之需求分析
050.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码逻辑梳理
051.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 消费数据并过滤
052.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 读取配置表创建广播流
053.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 配置表字段分析&建表&JavaBean
054.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 开启配置表Binlog并测试
055.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 连接主流&广播流并分析业务逻辑
056.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 创建TableProcessFunction并初始化相关参数
057.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理广播流数据 解析数据&建表
058.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理广播流数据 写入状态
059.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理主流数据 读取状态&过滤字段
060.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 处理主流数据 补充SinkTable&分流
061.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 检查代码
062.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 测试准备
063.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 测试
064.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 将数据写入HBase 编码
065.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之代码编写 将数据写入Kafka 编码
066.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之整体测试 环境准备
067.尚硅谷_Flink实时数仓-DWD&DIM-业务数据之整体测试 测试完成
068.尚硅谷_Flink实时数仓-ODS&DWD&DIM-小总结
069.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 需求说明&建表&导数据
070.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 方案一
071.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 方案二
072.尚硅谷_Flink实时数仓-ODS&DWD&DIM-SQL分享 HiveOnSpark Bug说明
073.尚硅谷_Flink实时数仓-DWM层-需求分析
074.尚硅谷_Flink实时数仓-DWM层-访客UV 需求分析
075.尚硅谷_Flink实时数仓-DWM层-访客UV 代码编写 消费数据并转换为JSON对象
076.尚硅谷_Flink实时数仓-DWM层-访客UV 代码编写 过滤数据
077.尚硅谷_Flink实时数仓-DWM层-访客UV 代码编写 设置状态超时时间防止状态过大
078.尚硅谷_Flink实时数仓-DWM层-访客UV 代码测试
079.尚硅谷_Flink实时数仓-DWM层-跳出明细 需求分析
080.尚硅谷_Flink实时数仓-DWM层-跳出明细 代码编写
081.尚硅谷_Flink实时数仓-DWM层-跳出明细 代码测试
082.尚硅谷_Flink实时数仓-DWM层-跳出明细 测试
083.尚硅谷_Flink实时数仓-DWM层-跳出明细 CEP 循环模式
084.尚硅谷_Flink实时数仓-DWM层-订单宽表 需求分析
085.尚硅谷_Flink实时数仓-DWM层-订单宽表 双流JOIN 官方文档说明
086.尚硅谷_Flink实时数仓-DWM层-订单宽表 双流JOIN 代码编写
087.尚硅谷_Flink实时数仓-DWM层-订单宽表 双流JOIN 代码测试
088.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码编写 消费Kafka数据&转换JavaBean&提取事件时间
089.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码编写 订单与订单明细表双流JOIN
090.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码测试 准备工作
091.尚硅谷_Flink实时数仓-DWM层-订单宽表 代码测试 测试完成
092.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 思路梳理
093.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 JDBCUtil 返回值&参数说明
094.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 JDBCUtil 查询&封装泛型对象
095.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 JDBCUtil 测试
096.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 DimUtil封装&优化的必要性
097.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 思路分析
098.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 Redis工具类&Key的设计
099.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 代码编写
100.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化1旁路缓存 代码测试
101.尚硅谷_Flink实时数仓-DWM层-订单宽表 回顾
102.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO说明
103.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码步骤
104.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 初始化函数
105.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 异步函数完成
106.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 测试准备
107.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 优化2 异步IO编码 测试完成
108.尚硅谷_Flink实时数仓-DWM层-订单宽表 关联维度 补充其他维度信息
109.尚硅谷_Flink实时数仓-DWM层-订单宽表 最终测试
110.尚硅谷_Flink实时数仓-DWM层-订单宽表 不丢维度数据说明
111.尚硅谷_Flink实时数仓-DWM层-支付宽表 需求分析
112.尚硅谷_Flink实时数仓-DWM层-支付宽表 代码编写
113.尚硅谷_Flink实时数仓-DWM层-支付宽表 代码测试
114.尚硅谷_Flink实时数仓-DWM层-支付宽表 时间工具类说明
115.尚硅谷_Flink实时数仓-DWS层-课程介绍
116.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 需求分析
117.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 思路整理&读取Kafka数据
118.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 处理输出流&union&提取时间戳分组
119.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 开窗&聚合
120.尚硅谷_Flink实时数仓-DWS层-访客主题宽表 打印测试
121.尚硅谷_Flink实时数仓-DWS层-ClickHouse 课程介绍
122.尚硅谷_Flink实时数仓-DWS层-ClickHouse 概述&特点
123.尚硅谷_Flink实时数仓-DWS层-ClickHouse 安装准备工作
124.尚硅谷_Flink实时数仓-DWS层-ClickHouse 安装&启动
125.尚硅谷_Flink实时数仓-DWS层-ClickHouse 数据类型
126.尚硅谷_Flink实时数仓-DWS层-ClickHouse 简单引擎介绍
127.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree
128.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之Partition By
129.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之Primary Key
130.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之Order By
131.尚硅谷_Flink实时数仓-DWS层-ClickHouse MergeTree之TTL
132.尚硅谷_Flink实时数仓-DWS层-ClickHouse ReplacingMergeTree
133.尚硅谷_Flink实时数仓-DWS层-ClickHouse SummingMergeTree
134.尚硅谷_Flink实时数仓-DWS层-ClickHouse 引擎选择分析
135.尚硅谷_Flink实时数仓-DWS层-ClickHouse SQL操作 一
136.尚硅谷_Flink实时数仓-DWS层-ClickHouse SQL操作 二
137.尚硅谷_Flink实时数仓-DWS层-ClickHouse 副本机制
138.尚硅谷_Flink实时数仓-DWS层-ClickHouse 分片机制 说明
139.尚硅谷_Flink实时数仓-DWS层-ClickHouse 分片机制 实操
140.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 创建
141.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 封装
142.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 封装完成
143.尚硅谷_Flink实时数仓-DWS层-访客主题 ClickHouseUtil 测试完成
144.尚硅谷_Flink实时数仓-DWS层-商品主题 需求分析
145.尚硅谷_Flink实时数仓-DWS层-商品主题 JavaBean说明
146.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 思路整理&消费数据创建流
147.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 处理页面日志&收藏数据&购物车数据
148.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 处理订单&支付数据
149.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 处理退单&评价数据
150.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 分组开窗&聚合
151.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 关联维度&将数据写入ClickHouse
152.尚硅谷_Flink实时数仓-DWS层-商品主题-整体测试
153.尚硅谷_Flink实时数仓-DWS层-商品主题-需求分析
154.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 创建环境&使用DDL方式读取Kafka数据
155.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 分组开窗聚合
156.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 将动态表转换为流并打印
157.尚硅谷_Flink实时数仓-DWS层-商品主题 代码编写 将数据写入ClickHouse&测试
158.尚硅谷_Flink实时数仓-DWS层-关键词主题 需求分析
159.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 分词工具类封装
160.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 分词UDTF
161.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 思路分析&读取数据&建表
162.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 分词&开窗聚合
163.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码编写 动态表转换为流&写入ClickHouse
164.尚硅谷_Flink实时数仓-DWS层-关键词主题 代码测试
165.尚硅谷_Flink实时数仓-数据可视化-课程介绍
166.尚硅谷_Flink实时数仓-数据可视化-Sugar 创建大屏
167.尚硅谷_Flink实时数仓-数据可视化-Sugar 使用步骤介绍
168.尚硅谷_Flink实时数仓-数据可视化-数据接口 项目构建
169.尚硅谷_Flink实时数仓-数据可视化-数据接口 依赖导入&分层说明
170.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 Mapper完成
171.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 Service&Controller完成
172.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 测试
173.尚硅谷_Flink实时数仓-数据可视化-数据接口 GMV接口 对接Sugar
174.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 Mapper完成
175.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 Service完成
176.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 Controller完成
177.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 测试完成
178.尚硅谷_Flink实时数仓-数据可视化-数据接口 品牌GMV接口 对接Sugar
179.尚硅谷_Flink实时数仓-数据可视化-数据接口 导入代码&品类GMV&SPU GMV
180.尚硅谷_Flink实时数仓-数据可视化-数据接口 其他需求图表
181.尚硅谷_Flink实时数仓-数据可视化-最终测试
182.尚硅谷_Flink优化-课程介绍
183.尚硅谷_Flink优化-资源优化之内存设置
184.尚硅谷_Flink优化-资源优化之并行度设置
185.尚硅谷_Flink优化-资源优化之RockDB配置
186.尚硅谷_Flink优化-资源优化之CheckPoint配置
187.尚硅谷_Flink优化-资源优化之ParameterTool的介绍
188.尚硅谷_Flink优化-反压处理之反压介绍&定位
189.尚硅谷_Flink优化-反压处理之反压问题解决
190.尚硅谷_Flink优化-数据倾斜之定位问题
191.尚硅谷_Flink优化-数据倾斜之KeyBy之前的数据倾斜
192.尚硅谷_Flink优化-数据倾斜之KeyBy之后直接聚合
193.尚硅谷_Flink优化-数据倾斜之KeyBy之后开窗聚合
194.尚硅谷_Flink优化-KafkaSource
195.尚硅谷_Flink优化-FlinkSQL优化之MiniBatch
196.尚硅谷_Flink优化-FlinkSQL优化之LocalGlobal
197.尚硅谷_Flink优化-FlinkSQL优化之SplitDistinct
198.尚硅谷_Flink优化-FlinkSQL优化之Agg With Filter
199.尚硅谷_Flink优化-FlinkSQL优化之TopN优化
200.尚硅谷_Flink优化-FlinkSQL优化之去重方案&其他