尚硅谷_电商项目（实时处理）

课程介绍

项目为使用Spark Streaming技术开发的大数据实时处理平台，主要用于互联网电商企业对各种用户行为进行复杂的分析，将统计分析的结果以接口或图形化的方式展示出来，辅助产品经理、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务，最终达成用大数据技术帮助公司提升业绩、营业额以及市场占有率的目标。 视频总时长50小时+，附赠全部教辅资料，含笔记、代码、资料、工具等。通过本套项目讲解视频学习，可掌握企业中使用Spark Streaming进行实时计算的完整流程，并掌握整个环节中涉及的各类框架技术，例如高可用的大数据采集框架、高并发的分布式消息队列、基于内存的高吞吐实时计算技术、海量存储、毫秒级查询的数据库等。 内容特点： 1、企业级大数据项目开发流程贯穿每个业务模块的讲解，囊括需求分析、方案设计、数据设计、编码实现、测试以及性能调优等环节，全面还原真实大数据项目的开发流程，对实时业务中涉及的双流Join以及Kafka精准一次性消费的问题进行了细致的讲解； 2、使用SpringBoot对用户行为数据进行采集； 3、通过Canal和Maxwell对业务数据库进行采集； 4、将数据采集到分布式消息队列Kafka，并在Kafka中进行分层处理，主要分为ODS、DWD、DWS、ADS层； 5、使用当前最火爆的Spark Streaming搭建高吞吐的数据实时处理模块； 6、选用ElasticSearch和ClickHouse作为最终的实时数据处理结果的存储位置，并从中获取数据进行展示，进一步降低响应时间对数据进行分析； 7、可视化展示使用ElasticSearch+Kibnana、自定义数据接口+可视化项目以及阿里巴巴的DataV进行可视化展示。 适合人群： 有Scala编程基础，项目使用Scala语言进行开发； 了解Spark编程； 熟悉常用的技术框架，如Kafka、HBase等（相关技术教程可通过尚硅谷官网免费获取）。

视频目录

001.尚硅谷_实时电商项目-项目介绍
002.尚硅谷_实时电商项目-离线架构回顾
003.尚硅谷_实时电商项目-实时架构讲解
004.尚硅谷_实时电商项目-项目需求介绍
005.尚硅谷_实时电商项目-模拟生成数据
006.尚硅谷_实时电商项目-SpringBoot介绍
007.尚硅谷_实时电商项目-SpringBoot程序创建
008.尚硅谷_实时电商项目-创建LoggerController接收模拟器生成数据
009.尚硅谷_实时电商项目-利用logback将日志数据落盘
010.尚硅谷_实时电商项目-将日志发送到kafka对应的主题中
011.尚硅谷_实时电商项目-内容回顾
012.尚硅谷_实时电商项目-打包日志处理程序到单台Linux上运行
013.尚硅谷_实时电商项目-负载均衡介绍
014.尚硅谷_实时电商项目-Nginx安装和启动
015.尚硅谷_实时电商项目-Nginx配置文件说明
016.尚硅谷_实时电商项目-Nginx常用应用场景
017.尚硅谷_实时电商项目-整体流程测试
018.尚硅谷_实时电商项目-编写脚本启动Nginx以及日志服务
019.尚硅谷_实时电商项目-日活业务介绍
020.尚硅谷_实时电商项目-上午内容回顾
021.尚硅谷_实时电商项目-ElasticSearch介绍
022.尚硅谷_实时电商项目-RestFul编程风格
023.尚硅谷_实时电商项目-特点
024.尚硅谷_实时电商项目-Lucene、Nutch、ElasticSearch关系
025.尚硅谷_实时电商项目-ElasticSearch安装以及单节点启动测试
026.尚硅谷_实时电商项目-Kibana安装以及测试
027.尚硅谷_实时电商项目-内容回顾
028.尚硅谷_实时电商项目-相关概念介绍
029.尚硅谷_实时电商项目-对索引的操作
030.尚硅谷_实时电商项目-对文档的操作1
031.尚硅谷_实时电商项目-对文档的操作2
032.尚硅谷_实时电商项目-按分词查询
033.尚硅谷_实时电商项目-查询操作1
034.尚硅谷_实时电商项目-查询操作2
035.尚硅谷_实时电商项目-聚合操作
036.尚硅谷_实时电商项目-ik分词器
037.尚硅谷_实时电商项目-自定义词库（本地）
038.尚硅谷_实时电商项目-自定义词库（远程）
039.尚硅谷_实时电商项目-mapping
040.尚硅谷_实时电商项目-内容回顾
041.尚硅谷_实时电商项目-别名
042.尚硅谷_实时电商项目-索引模板
043.尚硅谷_实时电商项目-JestFactory对象的创建
044.尚硅谷_实时电商项目-向ES中插入单条数据方式1
045.尚硅谷_实时电商项目-向ES中插入单条数据方式2
046.尚硅谷_实时电商项目-根据id查询索引中的单条文档
047.尚硅谷_实时电商项目-根据查询条件查询多条文档1
048.尚硅谷_实时电商项目-根据查询条件查询多条文档2
049.尚硅谷_实时电商项目-日活业务介绍
050.尚硅谷_实时电商项目-搭建日活开发环境
051.尚硅谷_实时电商项目-读取配置文件的工具类
052.尚硅谷_实时电商项目-读取Kafka数据的工具类
053.尚硅谷_实时电商项目-获取Redis客户端工具类
054.尚硅谷_实时电商项目-编写SparkStreaming程序消费kafka数据
055.尚硅谷_实时电商项目-内容回顾
056.尚硅谷_实时电商项目-已经登录设备去重思路分析
057.尚硅谷_实时电商项目-通过Redis对已经登录的数据进行去重方式1
058.尚硅谷_实时电商项目-通过Redis对已经登录的数据进行去重方式2
059.尚硅谷_实时电商项目-将采集到的数据批量保存到ES中业务实现
060.尚硅谷_实时电商项目-批量保存ES代码的实现
061.尚硅谷_实时电商项目-去重和保存到ES总结
062.尚硅谷_实时电商项目-kafka内容回顾1
063.尚硅谷_实时电商项目-kafka内容回顾2
064.尚硅谷_实时电商项目-kafka内容回顾3
065.尚硅谷_实时电商项目-kafka内容回顾4
066.尚硅谷_实时电商项目-精准一次性消费方案分析
067.尚硅谷_实时电商项目-手动提交偏移量+幂等性处理分析
068.尚硅谷_实时电商项目-从Redis中获取偏移量
069.尚硅谷_实时电商项目-内容回顾
070.尚硅谷_实时电商项目-从指定偏移量读取Kafka数据并获取偏移量位置
071.尚硅谷_实时电商项目-保存偏移量到Redis
072.尚硅谷_实时电商项目-关于去重
073.尚硅谷_实时电商项目-通过kibana进行可视化展示
074.尚硅谷_实时电商项目-发布查询接口架构介绍
075.尚硅谷_实时电商项目-搭建项目架构
076.尚硅谷_实时电商项目-获取当前日活数的Service方法实现
077.尚硅谷_实时电商项目-获取日活Controller处理
078.尚硅谷_实时电商项目-获取分时日活数Service方法实现
079.尚硅谷_实时电商项目-获取分时日活数Controller处理
080.尚硅谷_实时电商项目-前端访问数据接口测试
081.尚硅谷_实时电商项目-内容回顾
082.尚硅谷_实时电商项目-首单业务分析
083.尚硅谷_实时电商项目-canal使用场景
084.尚硅谷_实时电商项目-canal工作原理
085.尚硅谷_实时电商项目-MySQL前期准备工作
086.尚硅谷_实时电商项目-canal配置以及单机测试
087.尚硅谷_实时电商项目-canal高可用.mp4
088.尚硅谷_实时电商项目-上午内容回顾
089.尚硅谷_实时电商项目-使用canal进行分流处理
090.尚硅谷_实时电商项目-封装向Kafka发送数据工具类并对canal分流进行测试
091.尚硅谷_实时电商项目-maxwell的安装以及配置
092.尚硅谷_实时电商项目-编写BaseDBMaxwellApp对数据进行分流
093.尚硅谷_实时电商项目-总结
094.尚硅谷_实时电商项目-内容回顾
095.尚硅谷_实时电商项目-Hbase回顾1
096.尚硅谷_实时电商项目-Hbase回顾2
097.尚硅谷_实时电商项目-Phoenix客户端连接工具
098.尚硅谷_实时电商项目-封装Phoenix查询工具类
099.尚硅谷_实时电商项目-客户端工具问题解决
100.尚硅谷_实时电商项目-从kafka订单主题中读取数据
101.尚硅谷_实时电商项目-判断是否首单方案1
102.尚硅谷_实时电商项目-判断是否首单方案2
103.尚硅谷_实时电商项目-更新Phoenix中用户消费状态
104.尚硅谷_实时电商项目-Phoenix客户端连接工具2
105.尚硅谷_实时电商项目-尚硅谷大数据_实时项目_同批次状态修正
106.尚硅谷_实时电商项目-总结
107.尚硅谷_实时电商项目-内容回顾
108.尚硅谷_实时电商项目-维度表关联分析
109.尚硅谷_实时电商项目-省份维度表的处理1
110.尚硅谷_实时电商项目-省份维度表的处理2
111.尚硅谷_实时电商项目-用户维度表的处理1
112.尚硅谷_实时电商项目-用户维度表的处理2
113.尚硅谷_实时电商项目-上午内容回顾
114.尚硅谷_实时电商项目-和省份维度关联思路
115.尚硅谷_实时电商项目-和省份维度关联方案1
116.尚硅谷_实时电商项目-和省份维度关联方案2
117.尚硅谷_实时电商项目-和用户维度关联
118.尚硅谷_实时电商项目-保存订单数据到ES中
119.尚硅谷_实时电商项目-使用Kibana进行可视化
120.尚硅谷_实时电商项目-总结
121.尚硅谷_实时电商项目-内容回顾
122.尚硅谷_实时电商项目-实付分摊介绍
123.尚硅谷_实时电商项目-从Kafka中读取订单明细数据
124.尚硅谷_实时电商项目-维度表的创建
125.尚硅谷_实时电商项目-维度数据处理代码实现
126.尚硅谷_实时电商项目-订单明细和商品维度关联
127.尚硅谷_实时电商项目-订单明细和维度关联测试
128.尚硅谷_实时电商项目-订单和订单明细数据写回Kafka
129.尚硅谷_实时电商项目-OrderWideApp接收双流数据测试
130.尚硅谷_实时电商项目-双流Join问题解决方案
131.尚硅谷_实时电商项目-双流Join代码实现
132.尚硅谷_实时电商项目-双流合并测试
133.尚硅谷_实时电商项目-实付分摊需求
134.尚硅谷_实时电商项目-实付分摊思路介绍
135.尚硅谷_实时电商项目-实付分摊代码实现
136.尚硅谷_实时电商项目-实付分摊测试
137.尚硅谷_实时电商项目-内容回顾
138.尚硅谷_实时电商项目-ClickHouse介绍
139.尚硅谷_实时电商项目-安装前准备工作
140.尚硅谷_实时电商项目-单机安装
141.尚硅谷_实时电商项目-数据类型
142.尚硅谷_实时电商项目-三个属性讲解
143.尚硅谷_实时电商项目-二级索引
144.尚硅谷_实时电商项目-TTL设置
145.尚硅谷_实时电商项目-ReplacingMergeTree
146.尚硅谷_实时电商项目-SummingMergeTree
147.尚硅谷_实时电商项目-SQL操作
148.尚硅谷_实时电商项目-副本
149.尚硅谷_实时电商项目-分片的读取和写入流程
150.尚硅谷_实时电商项目-分片集群配置
151.尚硅谷_实时电商项目-保存双流Join后的数据到ClickHouse中1
152.尚硅谷_实时电商项目-保存双流Join后的数据到ClickHouse中2
153.尚硅谷_实时电商项目-数据接口架构介绍
154.尚硅谷_实时电商项目-配置文件属性说明
155.尚硅谷_实时电商项目-Mapper接口的创建
156.尚硅谷_实时电商项目-Mapper配置文件说明1
157.尚硅谷_实时电商项目-没有得到分摊数据问题排查
158.尚硅谷_实时电商项目-MyBatis映射文件配置
159.尚硅谷_实时电商项目-上午内容回顾
160.尚硅谷_实时电商项目-Service层处理代码
161.尚硅谷_实时电商项目-Controller层处理代码及测试
162.尚硅谷_实时电商项目-ADS层聚合思路
163.尚硅谷_实时电商项目-数据库表创建以及查询MySQL工具类封装
164.尚硅谷_实时电商项目-从MySQL中获取偏移量的工具类封装
165.尚硅谷_实时电商项目-将数据写回到Kafka
166.尚硅谷_实时电商项目-内容回顾
167.尚硅谷_实时电商项目-从Kafka中读取dws层数据
168.尚硅谷_实时电商项目-scalikejdbc工具介绍
169.尚硅谷_实时电商项目-保存数据到MySQL（精准一次性第二种实现）
170.尚硅谷_实时电商项目-发布数据接口程序介绍
171.尚硅谷_实时电商项目-抽取方法避免踩坑
172.尚硅谷_实时电商项目-发布数据查询接口
173.尚硅谷_实时电商项目-DataV数据展示
174.尚硅谷_实时电商项目-阶段总结