数仓3.0视频教程重磅来袭!3.0版框架版本全面升级:Hadoop-3.1.3、Hive-3.1.2、Flume-1.9.0、Kafka-2.4.1、Hive计算引擎升级为Spark3.0,用户行为日志重新设计……超大杯294集的满足感,视频、代码、资料、笔记,尽在其中! 本套视频教程从数据仓库的架构搭建入手,实现了数据仓库项目的闭环,从数据采集到数仓建模到数仓应用全部涵盖。主要内容包括:用户行为日志及业务数据库的数据采集、数据仓库中的分层模型及维度建模、企业具体需求实现及可视化展示、即席查询引擎的搭建及使用、集群监控等,从服务器选型到需求实现思路讲解、框架安装、工具使用、内核介绍,内容完整,理论与实践并重,通俗易懂,实现思路清晰明了。 教程适合具有一定编程基础的大数据初学者,以及想深入了解数据仓库理论知识与搭建实现的大数据从业人员,跟随本套教程学习可以完整搭建一套数据仓库,获得从0到1搭建数据仓库的全部技能点! 说明:当下企业中2.0和3.0并存,学习者可以根据需要,选择2.0或3.0来学习。
视频目录 001.尚硅谷_数据仓库-课程介绍002.尚硅谷_数据仓库-项目概述003.尚硅谷_项目分析-需求分析004.尚硅谷_项目分析-技术选型005.尚硅谷_项目分析-数据流程设计图006.尚硅谷_项目分析-框架版本选择007.尚硅谷_项目分析-服务器选型008.尚硅谷_项目分析-集群规模规划009.尚硅谷_日志采集-埋点目标数据010.尚硅谷_日志采集-主流埋点方式(了解)011.尚硅谷_日志采集-日志数据结构012.尚硅谷_日志采集-埋点数据上报时机013.尚硅谷_日志采集-服务器准备014.尚硅谷_日志采集-阿里云服务器购买015.尚硅谷_日志采集-阿里云安全组配置016.尚硅谷_日志采集-阿里云配置升级与关机说明017.尚硅谷_日志采集-JDK配置及免密配置018.尚硅谷_日志采集-JDK分发019.尚硅谷_日志采集-Linux环境变量说明020.尚硅谷_日志采集-模拟生成日志021.尚硅谷_日志采集-模拟日志脚本022.尚硅谷_日志采集-Hadoop部署之环境变量配置023.尚硅谷_日志采集-Hadoop部署之核心配置024.尚硅谷_日志采集-Hadoop部署之其余配置025.尚硅谷_日志采集-Hadoop部署之历史服务器和日志聚集配置026.尚硅谷_日志采集-Hadoop部署之启动及测试027.尚硅谷_日志采集-Hadoop项目经验之多目录存储028.尚硅谷_日志采集-Hadoop项目经验之数据均衡029.尚硅谷_日志采集-Hadoop项目经验之LZO压缩配置030.尚硅谷_日志采集-Hadoop项目经验之LZO压缩测试031.尚硅谷_日志采集-Hadoop项目经验之LZO切片说明032.尚硅谷_日志采集-Hadoop项目经验之参数调优033.尚硅谷_日志采集-Hadoop项目经验之基准测试034.尚硅谷_日志采集-通道设计规划035.尚硅谷_日志采集-Zookeeper部署036.尚硅谷_日志采集-Kafka安装037.尚硅谷_日志采集-Kafka常用脚本038.尚硅谷_日志采集-Kafka常用脚本补充039.尚硅谷_日志采集-Kafka压力测试040.尚硅谷_日志采集-Kafka机器数量与分区数量计算041.尚硅谷_日志采集-Flume安装042.尚硅谷_日志采集-日志采集配置方案对比043.尚硅谷_日志采集-监控日志Flume组件选择044.尚硅谷_日志采集-监控日志Flume配置文件045.尚硅谷_日志采集-监控日志Flume拦截器编码046.尚硅谷_日志采集-监控日志Flume测试047.尚硅谷_日志采集-Flume启停脚本048.尚硅谷_日志采集-消费KafkaFlume功能分析049.尚硅谷_日志采集-消费KafkaFlume中KafkaChannel注意事项050.尚硅谷_日志采集-消费KafkaFlume配置文件051.尚硅谷_日志采集-消费KafkaFlume时间戳拦截器052.尚硅谷_日志采集-消费KafkaFlume测试053.尚硅谷_日志采集-消费KafkaFlume启停脚本054.尚硅谷_日志采集-消费KafkaFlume内存调整055.尚硅谷_日志采集-小结056.尚硅谷_业务数据采集-电商系统概述057.尚硅谷_业务数据采集-电商系统基本概念058.尚硅谷_业务数据采集-电商系统表结构说明059.尚硅谷_业务数据采集-电商系统核心表概述060.尚硅谷_业务数据采集-电商系统表结构讲解061.尚硅谷_业务数据采集-电商系统表字段说明062.尚硅谷_业务数据采集-模拟数据生成之mysql部署063.尚硅谷_业务数据采集-模拟数据生成之建表064.尚硅谷_业务数据采集-模拟数据生成之EZDM使用简明介绍065.尚硅谷_业务数据采集-模拟数据生成之测试066.尚硅谷_业务数据采集-Sqoop概述067.尚硅谷_业务数据采集-Sqoop安装068.尚硅谷_业务数据采集-Sqoop测试069.尚硅谷_业务数据采集-Sqoop基础使用070.尚硅谷_业务数据采集-Sqoop使用之SQL形式导入071.尚硅谷_业务数据采集-数据同步策略072.尚硅谷_业务数据采集-业务数据表同步策略划分073.尚硅谷_业务数据采集-Sqoop导入脚本之基础说明074.尚硅谷_业务数据采集-Sqoop导入脚本之同步策略说明075.尚硅谷_业务数据采集-Sqoop导入脚本之测试076.尚硅谷_业务数据采集-Sqoop导入脚本之存在问题分析077.尚硅谷_业务数据采集-Sqoop导入脚本之数据验证078.尚硅谷_数仓建模理论-分层概述079.尚硅谷_数仓建模理论-数据集市080.尚硅谷_数仓建模理论-命名规范081.尚硅谷_数仓建模理论-范式理论之概述082.尚硅谷_数仓建模理论-范式理论之函数依赖083.尚硅谷_数仓建模理论-范式理论之三范式084.尚硅谷_数仓建模理论-OLTP与OLAP概述085.尚硅谷_数仓建模理论-关系建模与维度建模086.尚硅谷_数仓建模理论-维度模型之事实表与维度表087.尚硅谷_数仓建模理论-维度模型之事实表分类088.尚硅谷_数仓建模理论-维度模型之模型分类089.尚硅谷_数仓建模理论-数仓分层模型之整体概述090.尚硅谷_数仓建模理论-数仓分层模型之ODS层091.尚硅谷_数仓建模理论-数仓分层模型之DWD层092.尚硅谷_数仓建模理论-数仓分层模型之DWD层维度建模演示093.尚硅谷_数仓建模理论-数仓分层模型之DWS层与DWT层094.尚硅谷_数仓建模理论-数仓分层模型之建模驱动095.尚硅谷_数仓环境准备-Hive安装096.尚硅谷_数仓环境准备-Hive引擎说明097.尚硅谷_数仓环境准备-框架兼容性问题说明098.尚硅谷_数仓环境准备-HiveOnSpark配置099.尚硅谷_数仓环境准备-HiveOnSpark测试100.尚硅谷_数仓环境准备-Yarn容量调度器之并发度问题演示101.尚硅谷_数仓环境准备-Yarn容量调度器之多队列配置102.尚硅谷_数仓环境准备-Yarn容量调度器之提交任务指定队列103.尚硅谷_数仓环境准备-DataGrip使用介绍104.尚硅谷_数仓环境准备-新数据准备105.尚硅谷_数仓搭建-ODS层日志表之建表语句106.尚硅谷_数仓搭建-ODS层日志表之数据装载107.尚硅谷_数仓搭建-ODS层日志表之装载脚本108.尚硅谷_数仓搭建-扩展之Shell脚本引号总结109.尚硅谷_数仓搭建-ODS层业务表之建表语句110.尚硅谷_数仓搭建-ODS层业务表之装载脚本111.尚硅谷_数仓搭建-DWD层日志表之数据结构回顾112.尚硅谷_数仓搭建-DWD层日志表之Hive解析JSON函数说明113.尚硅谷_数仓搭建-DWD层日志表之日志解析思路分析114.尚硅谷_数仓搭建-DWD层日志表之启动表建表语句115.尚硅谷_数仓搭建-DWD层日志表之启动表数据装载116.尚硅谷_数仓搭建-DWD层日志表之页面表117.尚硅谷_数仓搭建-DWD层日志表之动作表解析思路118.尚硅谷_数仓搭建-回顾之explode函数使用说明119.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数设计120.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数说明121.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数编写(一)122.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数编写(二)123.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数注意事项124.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数创建125.尚硅谷_数仓搭建-DWD层日志表之动作表数据装载126.尚硅谷_数仓搭建-DWD层日志表之曝光表127.尚硅谷_数仓搭建-DWD层日志表之错误表128.尚硅谷_数仓搭建-DWD层数据装载之lzo索引文件识别问题129.尚硅谷_数仓搭建-DWD层日志表之数据装载脚本130.尚硅谷_数仓搭建-DWD层业务表之维度模型概述131.尚硅谷_数仓搭建-DWD层业务表之商品维度表132.尚硅谷_数仓搭建-DWD层业务表之优惠券维度表133.尚硅谷_数仓搭建-DWD层业务表之活动维度表134.尚硅谷_数仓搭建-DWD层业务表之地区维度表135.尚硅谷_数仓搭建-DWD层业务表之时间维度表136.尚硅谷_数仓搭建-DWD层业务表之支付事实表137.尚硅谷_数仓搭建-DWD层业务表之退款事实表138.尚硅谷_数仓搭建-DWD层业务表之评价事实表139.尚硅谷_数仓搭建-DWD层业务表之订单明细实表建表语句140.尚硅谷_数仓搭建-DWD层业务表之订单明细事实表数据装载(一)141.尚硅谷_数仓搭建-DWD层业务表之订单明细事实表数据装载(二)142.尚硅谷_数仓搭建-DWD层业务表之订单明细事实表数据装载(三)143.尚硅谷_数仓搭建-DWD层业务表之加购与收藏事实表144.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表分析145.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表分区规划146.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表数据装载思路147.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表数据装载148.尚硅谷_数仓搭建-DWD层业务表之订单事实表建表语句149.尚硅谷_数仓搭建-DWD层业务表之订单事实表数据装载150.尚硅谷_数仓搭建-DWD层业务表之拉链表概述151.尚硅谷_数仓搭建-DWD层业务表之拉链表制作过程概述152.尚硅谷_数仓搭建-DWD层业务表之用户维度表(一)153.尚硅谷_数仓搭建-DWD层业务表之用户维度表(二)154.尚硅谷_数仓搭建-DWD层业务表之数据装载脚本155.尚硅谷_数仓搭建-DWS&DWT层之业务术语156.尚硅谷_数仓搭建-DWS&DWT层之日期函数157.尚硅谷_数仓搭建-DWS&DWT层之复杂数据类型使用说明158.尚硅谷_数仓搭建-DWS层之会员主题每日汇总表建表语句159.尚硅谷_数仓搭建-DWS层之会员主题每日汇总表数据装载160.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表建表语句161.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表数据装载思路分析162.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表数据装载(一)163.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表数据装载(二)164.尚硅谷_数仓搭建-DWS层之设备主题每日汇总表建表语句165.尚硅谷_数仓搭建-DWS层之设备主题每日汇总表数据装载166.尚硅谷_数仓搭建-DWT层之设备主题累积汇总表建表语句167.尚硅谷_数仓搭建-DWT层之设备主题累积汇总表初次装载说明168.尚硅谷_数仓搭建-DWT层之设备主题累积汇总表数据装载169.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表建表语句170.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表数据装载(一)171.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表数据装载(二)172.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表数据装载(二)173.尚硅谷_数仓搭建-DWT层之商品主题累积汇总表174.尚硅谷_数仓搭建-DWS&DWT层之活动主题汇总表175.尚硅谷_数仓搭建-DWS&DWT层之地区主题汇总表176.尚硅谷_数仓搭建-DWS&DWT层之数据装载脚本177.尚硅谷_数仓需求-设备主题之活跃设备数178.尚硅谷_数仓需求-设备主题之新增&沉默&流失需求说明179.尚硅谷_数仓需求-设备主题之新增设备数需求讲解180.尚硅谷_数仓需求-设备主题之沉默用户数需求讲解181.尚硅谷_数仓需求-设备主题之流失用户数需求讲解182.尚硅谷_数仓需求-设备主题之留存率需求说明183.尚硅谷_数仓需求-设备主题之回流用户数需求说明(一)184.尚硅谷_数仓需求-设备主题之回流用户数需求说明(二)185.尚硅谷_数仓需求-设备主题之最近三周连续活跃用户数需求说明186.尚硅谷_数仓需求-设备主题之七天内连续三天活跃需求说明187.尚硅谷_数仓需求-设备主题之连续三周活跃需求讲解(思路一)188.尚硅谷_数仓需求-设备主题之连续三周活跃需求讲解(思路二)189.尚硅谷_数仓需求-设备主题之回流用户数需求讲解190.尚硅谷_数仓需求-设备主题之留存率需求讲解(思路一)191.尚硅谷_数仓需求-设备主题之留存率需求讲解(思路二)192.尚硅谷_数仓需求-设备主题之七天内连续三天活跃需求讲解(思路一)193.尚硅谷_数仓需求-设备主题之七天内连续三天活跃需求讲解(思路二)194.尚硅谷_数仓需求-会员主题之会员信息统计需求说明195.尚硅谷_数仓需求-会员主题之漏斗分析需求说明196.尚硅谷_数仓需求-商品主题之商品个数需求说明197.尚硅谷_数仓需求-会员主题之会员信息统计需求讲解198.尚硅谷_数仓需求-会员主题之漏斗分析需求讲解(思路一)199.尚硅谷_数仓需求-会员主题之漏斗分析需求讲解(思路二)200.尚硅谷_数仓需求-商品主题之商品个数需求讲解201.尚硅谷_数仓需求-商品主题之全局TopN需求说明202.尚硅谷_数仓需求-商品主题之分组TopN需求说明203.尚硅谷_数仓需求-商品主题之销量排行需求讲解204.尚硅谷_数仓需求-商品主题之退款率排行需求讲解205.尚硅谷_数仓需求-商品主题之差评率排行需求讲解206.尚硅谷_数仓需求-商品主题之分组TopN需求讲解207.尚硅谷_数仓需求-营销主题之下单&支付统计需求说明208.尚硅谷_数仓需求-营销主题之品怕复购率需求说明209.尚硅谷_数仓需求-营销主题之下单统计需求讲解210.尚硅谷_数仓需求-营销主题之支付统计需求讲解211.尚硅谷_数仓需求-营销主题之复购率需求讲解(思路一)212.尚硅谷_数仓需求-营销主题之复购率需求讲解(思路二)213.尚硅谷_数仓需求-ADS层数据导入脚本214.尚硅谷_全流程调度-工作流程概述215.尚硅谷_全流程调度-调度系统概述216.尚硅谷_全流程调度-Azkaban部署模式概述217.尚硅谷_全流程调度-Azkaban安装之安装包准备218.尚硅谷_全流程调度-Azkaban安装之数据库准备219.尚硅谷_全流程调度-Azkaban安装之Exec部署220.尚硅谷_全流程调度-Azkaban安装之Web部署221.尚硅谷_全流程调度-Azkaban使用之入门案例222.尚硅谷_全流程调度-Azkaban使用之工作流程配置文件说明223.尚硅谷_全流程调度-Azkaban使用之Yaml文件格式概述224.尚硅谷_全流程调度-Azkaban使用之任务依赖配置225.尚硅谷_全流程调度-Azkaban使用之自动失败重试226.尚硅谷_全流程调度-Azkaban使用之手动失败重试227.尚硅谷_全流程调度-Azkaban使用之定时调度228.尚硅谷_全流程调度-Azkaban使用之邮件配置229.尚硅谷_全流程调度-Azkaban使用之邮件通知演示230.尚硅谷_全流程调度-实操之Sqoop导出功能说明231.尚硅谷_全流程调度-实操之MySQL建库建表232.尚硅谷_全流程调度-实操之Sqoop导出脚本233.尚硅谷_全流程调度-实操之新数据准备234.尚硅谷_全流程调度-实操之Azkaban启停脚本235.尚硅谷_全流程调度-实操之Azkaban工作流程配置文件编写236.尚硅谷_全流程调度-实操之Azkaban工作流传参说明237.尚硅谷_全流程调度-实操之Azkaban全流程调度演示238.尚硅谷_全流程调度-实操之Azkaban问题总结239.尚硅谷_数据可视化-概述240.尚硅谷_数据可视化-Superset概述241.尚硅谷_数据可视化-Superset安装之Miniconda部署242.尚硅谷_数据可视化-Superset安装之准备Python3.6环境243.尚硅谷_数据可视化-Superset安装244.尚硅谷_数据可视化-Superset安装之初始化245.尚硅谷_数据可视化-Superset安装之启动246.尚硅谷_数据可视化-Superset安装之启停脚本247.尚硅谷_数据可视化-Superset使用之对接数据源248.尚硅谷_数据可视化-Superset使用之趋势图示例249.尚硅谷_数据可视化-Superset使用之地图与饼状图示例250.尚硅谷_数据可视化-Superset使用之编辑仪表盘251.尚硅谷_即席查询-概述252.尚硅谷_即席查询-Kylin概述253.尚硅谷_即席查询-Kylin前置概念254.尚硅谷_即席查询-Kylin基础架构255.尚硅谷_即席查询-Kylin特点256.尚硅谷_即席查询-Kylin安装之HBase部署257.尚硅谷_即席查询-Kylin安装之环境变量准备258.尚硅谷_即席查询-Kylin安装之兼容性问题说明259.尚硅谷_即席查询-Kylin启动260.尚硅谷_即席查询-Kylin使用之基础用法261.尚硅谷_即席查询-Kylin使用之维度表重复key问题说明262.尚硅谷_即席查询-Kylin使用之查询263.尚硅谷_即席查询-Kylin使用之RestAPI使用概述264.尚硅谷_即席查询-Kylin使用之每日定时构建脚本265.尚硅谷_即席查询-Kylin原理之基础概念回顾266.尚硅谷_即席查询-Kylin原理之Cube存储原理267.尚硅谷_即席查询-Kylin原理之Cube构建原理268.尚硅谷_即席查询-Kylin优化之衍生维度269.尚硅谷_即席查询-Kylin优化之聚合组270.尚硅谷_即席查询-Kylin优化之Rowkey调整271.尚硅谷_即席查询-Kylin优化之并发粒度优化272.尚硅谷_即席查询-KylinBI集成之JDBC273.尚硅谷_即席查询-KylinBI集成之Zeppelin274.尚硅谷_即席查询-Presto概述275.尚硅谷_即席查询-Presto安装之Server部署276.尚硅谷_即席查询-Presto安装之命令行客户端部署277.尚硅谷_即席查询-Presto安装之LZO 压缩格式说明278.尚硅谷_即席查询-Presto安装之可视化客户端部署279.尚硅谷_即席查询-Presto使用注意事项280.尚硅谷_集群监控-Zabbix概述281.尚硅谷_集群监控-Zabbix安装之服务器环境准备282.尚硅谷_集群监控-Zabbix安装之yum仓库配置283.尚硅谷_集群监控-Zabbix安装之下载安装284.尚硅谷_集群监控-Zabbix安装之修改配置文件285.尚硅谷_集群监控-Zabbix启动286.尚硅谷_集群监控-Zabbix安装之web配置287.尚硅谷_集群监控-Zabbix使用之术语288.尚硅谷_集群监控-Zabbix使用之创建主机289.尚硅谷_集群监控-Zabbix使用之配置监控项290.尚硅谷_集群监控-Zabbix使用之配置触发器291.尚硅谷_集群监控-Zabbix使用之配置报警媒介292.尚硅谷_集群监控-Zabbix使用之配置动作293.尚硅谷_集群监控-Zabbix使用之测试294.尚硅谷_集群监控-Zabbix使用之模板