本教程主要分为两大部分:Flink理论基础,和基于Flink的电商用户行为分析项目实战。 第一部分:Flink基础理论的讲解,以Flink 1.10.1版本为例,涉及到各种重要概念、原理和API的用法,并且会有大量的示例代码实现; 第二部分:以电商作为业务应用场景,以Flink作为分析框架,介绍一个电商用户行为分析项目的开发实战。 本套视频教程通过理论和实际的紧密结合,使学习者对Flink有充分的认识和理解,在项目实战中对Flink和流式处理应用的场景,以及电商分析业务领域有更深刻的认识。并且通过对流处理原理的学习和与批处理架构的对比,对大数据处理架构有更全面的了解,为日后成为架构师打下基础。
视频目录 001.尚硅谷_Flink-Flink简介002.尚硅谷_Flink-Flink应用场景003.尚硅谷_Flink-流式处理的提出004.尚硅谷_Flink-流式处理的演变005.尚硅谷_Flink-Flink的特点006.尚硅谷_Flink-批处理wordcount007.尚硅谷_Flink-流处理wordcount008.尚硅谷_Flink-流处理wordcount扩展测试和说明009.尚硅谷_Flink-Flink集群部署010.尚硅谷_Flink-提交Job011.尚硅谷_Flink-命令行提交Job012.尚硅谷_Flink-其它方式集群部署013.尚硅谷_Flink-运行时架构_运行时组件014.尚硅谷_Flink-运行时架构_作业提交流程015.尚硅谷_Flink-运行时架构_任务调度原理(一)_并行度和slot016.尚硅谷_Flink-运行时架构_任务调度原理(二)_slot共享017.尚硅谷_Flink-运行时架构_任务调度原理(三)_slot共享示例018.尚硅谷_Flink-运行时架构_任务调度原理(四)_执行图和任务链019.尚硅谷_Flink-运行时架构_任务调度原理(五)_自定义任务调度规则020.尚硅谷_Flink-流处理API_Source(一)_从集合和文件读取数据021.尚硅谷_Flink-流处理API_Source(二)_从Kafka读取数据022.尚硅谷_Flink-流处理API_Source(三)_自定义Source023.尚硅谷_Flink-流处理API_Transform(一)_简单转换算子024.尚硅谷_Flink-流处理API_Transform(二)_简单分组聚合025.尚硅谷_Flink-流处理API_Transform(三)_reduce聚合026.尚硅谷_Flink-流处理API_Transform(四)_分流操作027.尚硅谷_Flink-流处理API_Transform(五)_合流操作028.尚硅谷_Flink-流处理API_Flink支持的数据类型029.尚硅谷_Flink-流处理API_函数类和富函数类030.尚硅谷_Flink-流处理API_Sink(一)_文件031.尚硅谷_Flink-流处理API_Sink(二)_Kafka032.尚硅谷_Flink-流处理API_Sink(三)_Redis033.尚硅谷_Flink-流处理API_Sink(四)_ElasticSearch034.尚硅谷_Flink-流处理API_Sink(五)_MySQL035.尚硅谷_Flink-流处理API_Window API_窗口概念036.尚硅谷_Flink-流处理API_Window API_窗口类型037.尚硅谷_Flink-流处理API_Window API_窗口分配器038.尚硅谷_Flink-流处理API_Window API_窗口函数及其它可选API039.尚硅谷_Flink-流处理API_Window API_窗口计算测试040.尚硅谷_Flink-时间语义041.尚硅谷_Flink-时间语义的设置042.尚硅谷_Flink-Watermark概念043.尚硅谷_Flink-Watermark原理和特点044.尚硅谷_Flink-Watermark传递045.尚硅谷_Flink-Watermark代码中引入046.尚硅谷_Flink-自定义Watermark生成机制047.尚硅谷_Flink-事件时间语义下的窗口测试048.尚硅谷_Flink-窗口起始点的确定049.尚硅谷_Flink-状态管理(一)_状态的概念050.尚硅谷_Flink-状态管理(二)_算子状态和键控状态051.尚硅谷_Flink-状态管理(三)_状态在代码中的定义和使用052.尚硅谷_Flink-状态编程示例(一)053.尚硅谷_Flink-状态编程示例(二)054.尚硅谷_Flink-ProcessFuntion_基本概念和使用055.尚硅谷_Flink-ProcessFuntion_定时器应用示例056.尚硅谷_Flink-ProcessFuntion_侧输出流应用示例057.尚硅谷_Flink-状态后端058.尚硅谷_Flink-容错机制_检查点概念和原理059.尚硅谷_Flink-容错机制_检查点算法060.尚硅谷_Flink-容错机制_checkpoint配置061.尚硅谷_Flink-容错机制_重启策略配置062.尚硅谷_Flink-保存点063.尚硅谷_Flink-状态一致性_基本概念064.尚硅谷_Flink-状态一致性_Flink端到端状态一致性的保证065.尚硅谷_Flink-状态一致性_幂等写入和事务写入066.尚硅谷_Flink-状态一致性_Flink与Kafka连接的状态一致性067.尚硅谷_Flink-Table API和Flink SQL_基本概念和示例程序068.尚硅谷_Flink-Table API和Flink SQL_基本程序结构069.尚硅谷_Flink-Table API和Flink SQL_表执行环境070.尚硅谷_Flink-Table API和Flink SQL_表的概念和从文件读取数据071.尚硅谷_Flink-Table API和Flink SQL_从Kafka读取数据072.尚硅谷_Flink-Table API和Flink SQL_表的查询转换073.尚硅谷_Flink-Table API和Flink SQL_DataStream和表的转换074.尚硅谷_Flink-Table API和Flink SQL_输出到文件075.尚硅谷_Flink-Table API和Flink SQL_更新模式076.尚硅谷_Flink-Table API和Flink SQL_Kafka管道测试077.尚硅谷_Flink-Table API和Flink SQL_输出到ES078.尚硅谷_Flink-Table API和Flink SQL_输出到MySQL079.尚硅谷_Flink-Table API和Flink SQL_表转换成流080.尚硅谷_Flink-Table API和Flink SQL_流处理和SQL查询的不同081.尚硅谷_Flink-Table API和Flink SQL_动态表和持续查询082.尚硅谷_Flink-Table API和Flink SQL_持续查询示例具体过程083.尚硅谷_Flink-Table API和Flink SQL_时间特性(一)_处理时间084.尚硅谷_Flink-Table API和Flink SQL_时间特性(二)_事件时间085.尚硅谷_Flink-Table API和Flink SQL_窗口(一)_分组窗口086.尚硅谷_Flink-Table API和Flink SQL_窗口(二)_分组窗口测试087.尚硅谷_Flink-Table API和Flink SQL_窗口(三)_Over窗口088.尚硅谷_Flink-Table API和Flink SQL_窗口(四)_Over窗口测试089.尚硅谷_Flink-Table API和Flink SQL_函数(一)_系统内置函数090.尚硅谷_Flink-Table API和Flink SQL_函数(二)_UDF函数_标量函数091.尚硅谷_Flink-Table API和Flink SQL_函数(三)_UDF函数_表函数092.尚硅谷_Flink-Table API和Flink SQL_函数(四)_UDF函数_聚合函数093.尚硅谷_Flink-Table API和Flink SQL_函数(五)_UDF函数_表聚合函数094.尚硅谷_Flink项目-电商用户行为分析_批处理和流处理以及项目选型095.尚硅谷_Flink项目-电商用户行为分析_用户行为分析应用场景096.尚硅谷_Flink项目-电商用户行为分析_模块设计和数据分析097.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(一)098.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(二)099.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_其它需求100.尚硅谷_Flink项目-电商用户行为分析_项目框架搭建101.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(一)_窗口聚合102.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(二)_排序统计输出103.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(三)_从Kafka消费数据测试104.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(四)_批量消费Kafka数据测试105.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(五)_Table API和SQL实现106.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(一)_开窗聚合统计107.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(二)_统计结果排序输出108.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(三)_乱序数据的处理109.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(四)_保证状态更新结果正确110.尚硅谷_Flink项目-电商用户行为分析_PV统计(一)_基本实现111.尚硅谷_Flink项目-电商用户行为分析_PV统计(二)_数据并行的优化112.尚硅谷_Flink项目-电商用户行为分析_UV统计(一)_基本实现113.尚硅谷_Flink项目-电商用户行为分析_UV统计(二)_布隆过滤器去重思路和程序架构114.尚硅谷_Flink项目-电商用户行为分析_UV统计(三)_布隆过滤器简单实现115.尚硅谷_Flink项目-电商用户行为分析_UV统计(四)_UV去重的布隆过滤器实现116.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(一)_自定义数据源117.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(二)_开窗聚合统计输出118.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(一)_基本需求实现119.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(二)_刷单行为过滤思路和整体框架120.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(三)_刷单行为过滤代码实现121.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(一)_实现思路和代码框架122.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(二)_具体代码实现123.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(三)_代码改进124.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(四)_CEP代码实现125.尚硅谷_Flink项目-电商用户行为分析_CEP简介(一)_CEP介绍及Pattern API整体概念126.尚硅谷_Flink项目-电商用户行为分析_CEP简介(二)_个体模式127.尚硅谷_Flink项目-电商用户行为分析_CEP简介(三)_模式序列128.尚硅谷_Flink项目-电商用户行为分析_CEP简介(四)_模式的检测和事件处理129.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(一)_实现思路和程序架构130.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(二)_CEP具体代码实现131.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(三)_流式输入数据测试132.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(四)_ProcessFunction代码实现133.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(一)_需求分析和整体架构134.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(二)_合流代码实现135.尚硅谷_Flink项目-电商用户行为分析_Join API(一)_Window Join136.尚硅谷_Flink项目-电商用户行为分析_Join API(二)_Interval Join137.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(三)_Join代码实现