项目为使用Spark Streaming技术开发的大数据实时处理平台,主要用于互联网电商企业对各种用户行为进行复杂的分析,将统计分析的结果以接口或图形化的方式展示出来,辅助产品经理、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务,最终达成用大数据技术帮助公司提升业绩、营业额以及市场占有率的目标。 视频总时长50小时+,附赠全部教辅资料,含笔记、代码、资料、工具等。通过本套项目讲解视频学习,可掌握企业中使用Spark Streaming进行实时计算的完整流程,并掌握整个环节中涉及的各类框架技术,例如高可用的大数据采集框架、高并发的分布式消息队列、基于内存的高吞吐实时计算技术、海量存储、毫秒级查询的数据库等。 内容特点: 1、企业级大数据项目开发流程贯穿每个业务模块的讲解,囊括需求分析、方案设计、数据设计、编码实现、测试以及性能调优等环节,全面还原真实大数据项目的开发流程,对实时业务中涉及的双流Join以及Kafka精准一次性消费的问题进行了细致的讲解; 2、使用SpringBoot对用户行为数据进行采集; 3、通过Canal和Maxwell对业务数据库进行采集; 4、将数据采集到分布式消息队列Kafka,并在Kafka中进行分层处理,主要分为ODS、DWD、DWS、ADS层; 5、使用当前最火爆的Spark Streaming搭建高吞吐的数据实时处理模块; 6、选用ElasticSearch和ClickHouse作为最终的实时数据处理结果的存储位置,并从中获取数据进行展示,进一步降低响应时间对数据进行分析; 7、可视化展示使用ElasticSearch+Kibnana、自定义数据接口+可视化项目以及阿里巴巴的DataV进行可视化展示。 适合人群: 有Scala编程基础,项目使用Scala语言进行开发; 了解Spark编程; 熟悉常用的技术框架,如Kafka、HBase等(相关技术教程可通过尚硅谷官网免费获取)。
视频目录 001.尚硅谷_实时电商项目-项目介绍002.尚硅谷_实时电商项目-离线架构回顾003.尚硅谷_实时电商项目-实时架构讲解004.尚硅谷_实时电商项目-项目需求介绍005.尚硅谷_实时电商项目-模拟生成数据006.尚硅谷_实时电商项目-SpringBoot介绍007.尚硅谷_实时电商项目-SpringBoot程序创建008.尚硅谷_实时电商项目-创建LoggerController接收模拟器生成数据009.尚硅谷_实时电商项目-利用logback将日志数据落盘010.尚硅谷_实时电商项目-将日志发送到kafka对应的主题中011.尚硅谷_实时电商项目-内容回顾012.尚硅谷_实时电商项目-打包日志处理程序到单台Linux上运行013.尚硅谷_实时电商项目-负载均衡介绍014.尚硅谷_实时电商项目-Nginx安装和启动015.尚硅谷_实时电商项目-Nginx配置文件说明016.尚硅谷_实时电商项目-Nginx常用应用场景017.尚硅谷_实时电商项目-整体流程测试018.尚硅谷_实时电商项目-编写脚本启动Nginx以及日志服务019.尚硅谷_实时电商项目-日活业务介绍020.尚硅谷_实时电商项目-上午内容回顾021.尚硅谷_实时电商项目-ElasticSearch介绍022.尚硅谷_实时电商项目-RestFul编程风格023.尚硅谷_实时电商项目-特点024.尚硅谷_实时电商项目-Lucene、Nutch、ElasticSearch关系025.尚硅谷_实时电商项目-ElasticSearch安装以及单节点启动测试026.尚硅谷_实时电商项目-Kibana安装以及测试027.尚硅谷_实时电商项目-内容回顾028.尚硅谷_实时电商项目-相关概念介绍029.尚硅谷_实时电商项目-对索引的操作030.尚硅谷_实时电商项目-对文档的操作1031.尚硅谷_实时电商项目-对文档的操作2032.尚硅谷_实时电商项目-按分词查询033.尚硅谷_实时电商项目-查询操作1034.尚硅谷_实时电商项目-查询操作2035.尚硅谷_实时电商项目-聚合操作036.尚硅谷_实时电商项目-ik分词器037.尚硅谷_实时电商项目-自定义词库(本地)038.尚硅谷_实时电商项目-自定义词库(远程)039.尚硅谷_实时电商项目-mapping040.尚硅谷_实时电商项目-内容回顾041.尚硅谷_实时电商项目-别名042.尚硅谷_实时电商项目-索引模板043.尚硅谷_实时电商项目-JestFactory对象的创建044.尚硅谷_实时电商项目-向ES中插入单条数据方式1045.尚硅谷_实时电商项目-向ES中插入单条数据方式2046.尚硅谷_实时电商项目-根据id查询索引中的单条文档047.尚硅谷_实时电商项目-根据查询条件查询多条文档1048.尚硅谷_实时电商项目-根据查询条件查询多条文档2049.尚硅谷_实时电商项目-日活业务介绍050.尚硅谷_实时电商项目-搭建日活开发环境051.尚硅谷_实时电商项目-读取配置文件的工具类052.尚硅谷_实时电商项目-读取Kafka数据的工具类053.尚硅谷_实时电商项目-获取Redis客户端工具类054.尚硅谷_实时电商项目-编写SparkStreaming程序消费kafka数据055.尚硅谷_实时电商项目-内容回顾056.尚硅谷_实时电商项目-已经登录设备去重思路分析057.尚硅谷_实时电商项目-通过Redis对已经登录的数据进行去重方式1058.尚硅谷_实时电商项目-通过Redis对已经登录的数据进行去重方式2059.尚硅谷_实时电商项目-将采集到的数据批量保存到ES中业务实现060.尚硅谷_实时电商项目-批量保存ES代码的实现061.尚硅谷_实时电商项目-去重和保存到ES总结062.尚硅谷_实时电商项目-kafka内容回顾1063.尚硅谷_实时电商项目-kafka内容回顾2064.尚硅谷_实时电商项目-kafka内容回顾3065.尚硅谷_实时电商项目-kafka内容回顾4066.尚硅谷_实时电商项目-精准一次性消费方案分析067.尚硅谷_实时电商项目-手动提交偏移量+幂等性处理分析068.尚硅谷_实时电商项目-从Redis中获取偏移量069.尚硅谷_实时电商项目-内容回顾070.尚硅谷_实时电商项目-从指定偏移量读取Kafka数据并获取偏移量位置071.尚硅谷_实时电商项目-保存偏移量到Redis072.尚硅谷_实时电商项目-关于去重073.尚硅谷_实时电商项目-通过kibana进行可视化展示074.尚硅谷_实时电商项目-发布查询接口架构介绍075.尚硅谷_实时电商项目-搭建项目架构076.尚硅谷_实时电商项目-获取当前日活数的Service方法实现077.尚硅谷_实时电商项目-获取日活Controller处理078.尚硅谷_实时电商项目-获取分时日活数Service方法实现079.尚硅谷_实时电商项目-获取分时日活数Controller处理080.尚硅谷_实时电商项目-前端访问数据接口测试081.尚硅谷_实时电商项目-内容回顾082.尚硅谷_实时电商项目-首单业务分析083.尚硅谷_实时电商项目-canal使用场景084.尚硅谷_实时电商项目-canal工作原理085.尚硅谷_实时电商项目-MySQL前期准备工作086.尚硅谷_实时电商项目-canal配置以及单机测试087.尚硅谷_实时电商项目-canal高可用.mp4088.尚硅谷_实时电商项目-上午内容回顾089.尚硅谷_实时电商项目-使用canal进行分流处理090.尚硅谷_实时电商项目-封装向Kafka发送数据工具类并对canal分流进行测试091.尚硅谷_实时电商项目-maxwell的安装以及配置092.尚硅谷_实时电商项目-编写BaseDBMaxwellApp对数据进行分流093.尚硅谷_实时电商项目-总结094.尚硅谷_实时电商项目-内容回顾095.尚硅谷_实时电商项目-Hbase回顾1096.尚硅谷_实时电商项目-Hbase回顾2097.尚硅谷_实时电商项目-Phoenix客户端连接工具098.尚硅谷_实时电商项目-封装Phoenix查询工具类099.尚硅谷_实时电商项目-客户端工具问题解决100.尚硅谷_实时电商项目-从kafka订单主题中读取数据101.尚硅谷_实时电商项目-判断是否首单方案1102.尚硅谷_实时电商项目-判断是否首单方案2103.尚硅谷_实时电商项目-更新Phoenix中用户消费状态104.尚硅谷_实时电商项目-Phoenix客户端连接工具2105.尚硅谷_实时电商项目-尚硅谷大数据_实时项目_同批次状态修正106.尚硅谷_实时电商项目-总结107.尚硅谷_实时电商项目-内容回顾108.尚硅谷_实时电商项目-维度表关联分析109.尚硅谷_实时电商项目-省份维度表的处理1110.尚硅谷_实时电商项目-省份维度表的处理2111.尚硅谷_实时电商项目-用户维度表的处理1112.尚硅谷_实时电商项目-用户维度表的处理2113.尚硅谷_实时电商项目-上午内容回顾114.尚硅谷_实时电商项目-和省份维度关联思路115.尚硅谷_实时电商项目-和省份维度关联方案1116.尚硅谷_实时电商项目-和省份维度关联方案2117.尚硅谷_实时电商项目-和用户维度关联118.尚硅谷_实时电商项目-保存订单数据到ES中119.尚硅谷_实时电商项目-使用Kibana进行可视化120.尚硅谷_实时电商项目-总结121.尚硅谷_实时电商项目-内容回顾122.尚硅谷_实时电商项目-实付分摊介绍123.尚硅谷_实时电商项目-从Kafka中读取订单明细数据124.尚硅谷_实时电商项目-维度表的创建125.尚硅谷_实时电商项目-维度数据处理代码实现126.尚硅谷_实时电商项目-订单明细和商品维度关联127.尚硅谷_实时电商项目-订单明细和维度关联测试128.尚硅谷_实时电商项目-订单和订单明细数据写回Kafka129.尚硅谷_实时电商项目-OrderWideApp接收双流数据测试130.尚硅谷_实时电商项目-双流Join问题解决方案131.尚硅谷_实时电商项目-双流Join代码实现132.尚硅谷_实时电商项目-双流合并测试133.尚硅谷_实时电商项目-实付分摊需求134.尚硅谷_实时电商项目-实付分摊思路介绍135.尚硅谷_实时电商项目-实付分摊代码实现136.尚硅谷_实时电商项目-实付分摊测试137.尚硅谷_实时电商项目-内容回顾138.尚硅谷_实时电商项目-ClickHouse介绍139.尚硅谷_实时电商项目-安装前准备工作140.尚硅谷_实时电商项目-单机安装141.尚硅谷_实时电商项目-数据类型142.尚硅谷_实时电商项目-三个属性讲解143.尚硅谷_实时电商项目-二级索引144.尚硅谷_实时电商项目-TTL设置145.尚硅谷_实时电商项目-ReplacingMergeTree146.尚硅谷_实时电商项目-SummingMergeTree147.尚硅谷_实时电商项目-SQL操作148.尚硅谷_实时电商项目-副本149.尚硅谷_实时电商项目-分片的读取和写入流程150.尚硅谷_实时电商项目-分片集群配置151.尚硅谷_实时电商项目-保存双流Join后的数据到ClickHouse中1152.尚硅谷_实时电商项目-保存双流Join后的数据到ClickHouse中2153.尚硅谷_实时电商项目-数据接口架构介绍154.尚硅谷_实时电商项目-配置文件属性说明155.尚硅谷_实时电商项目-Mapper接口的创建156.尚硅谷_实时电商项目-Mapper配置文件说明1157.尚硅谷_实时电商项目-没有得到分摊数据问题排查158.尚硅谷_实时电商项目-MyBatis映射文件配置159.尚硅谷_实时电商项目-上午内容回顾160.尚硅谷_实时电商项目-Service层处理代码161.尚硅谷_实时电商项目-Controller层处理代码及测试162.尚硅谷_实时电商项目-ADS层聚合思路163.尚硅谷_实时电商项目-数据库表创建以及查询MySQL工具类封装164.尚硅谷_实时电商项目-从MySQL中获取偏移量的工具类封装165.尚硅谷_实时电商项目-将数据写回到Kafka166.尚硅谷_实时电商项目-内容回顾167.尚硅谷_实时电商项目-从Kafka中读取dws层数据168.尚硅谷_实时电商项目-scalikejdbc工具介绍169.尚硅谷_实时电商项目-保存数据到MySQL(精准一次性第二种实现)170.尚硅谷_实时电商项目-发布数据接口程序介绍171.尚硅谷_实时电商项目-抽取方法避免踩坑172.尚硅谷_实时电商项目-发布数据查询接口173.尚硅谷_实时电商项目-DataV数据展示174.尚硅谷_实时电商项目-阶段总结