尚硅谷_基于阿里云搭建数据仓库（离线）

课程介绍

一、项目简介 该项目由阿里云大学和尚硅谷联合打造。 本项目教程以国内电商巨头实际业务应用场景为依托，同时以阿里云ECS服务器为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商数仓的常见实战指标进行了详尽讲解，让你迅速成长，获取更前沿的技术经验。 二、项目架构 版本框架：Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等； Flume：大数据领域被广泛运用的日志采集框架； DateHub：类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。对于离线计算，DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以DataHub又扮演了一个数据的分发枢纽工作； 据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案； DataWorks：是基于MaxCompute计算引擎，从工作室、车间到工具集都齐备的一站式大数据工厂，它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作； QuickBI & DataV：专为云上用户量身打造的新一代智能BI服务平台。 三、项目场景 数仓项目广泛应用于大数据领域，该项目技术可以高度适配电商、金融、医疗、在线教育、传媒、电信、交通等各领域； 四、项目特色 本课程结合国内多家企业实际项目经验。从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建基于阿里云服务器的大数据集群。采用阿里云ECS服务器作为数据平台，搭建高可用的、高可靠的Flume数据采集通道，运用阿里云DateHub构建中间缓冲队列并担任数据分发枢纽将数据推送至阿里自主研发的DataWorks对数据进行分层处理，采用MaxCompute作为处理海量数据的方案，将计算结果保存至MySQL并结合阿里的QuickBI工作做最终数据展示。

视频目录

01.尚硅谷_阿里云大学_项目课程简介
02.尚硅谷_阿里云大学_数据仓库概念
03.尚硅谷_项目需求及架构设计_项目需求分析
04.尚硅谷_项目需求及架构设计_阿里云计算框架
05.尚硅谷_项目需求及架构设计_项目技术选型
06.尚硅谷_项目需求及架构设计_系统数据流程设计
07.尚硅谷_项目需求及架构设计_服务器选型
08.尚硅谷_项目需求及架构设计_集群规模及购买服务器建议
09.尚硅谷_数据生成模块_埋点数据基本格式
10.尚硅谷_数据生成模块_事件日志数据
11.尚硅谷_数据生成模块_数据生成脚本
12.尚硅谷_数据采集模块_注册购买ECS云服务器
13.尚硅谷_数据采集模块_配置防火墙
14.尚硅谷_数据采集模块_ECS配置升级
15.尚硅谷_数据采集模块_阿里云服务器连接
16.尚硅谷_数据采集模块_配置主机名称映射
17.尚硅谷_数据采集模块_创建普通用户atguigu
18.尚硅谷_数据采集模块_集群分发脚本xsync
19.尚硅谷_数据采集模块_配置SSH无密登录
20.尚硅谷_数据采集模块_集群整体操作脚本
21.尚硅谷_数据采集模块_JDK安装
22.尚硅谷_数据采集模块_日志生成
23.尚硅谷_数据采集模块_Flume安装及使用
24.尚硅谷_数据采集模块_DataHub简介
25.尚硅谷_数据采集模块_创建DataHub与Topic
26.尚硅谷_数据采集模块_Flume推送数据到DataHub
27.尚硅谷_数据采集模块_DataWorks和MaxCompute简介
28.尚硅谷_数据采集模块_创建工作空间
29.尚硅谷_用户行为数仓搭建_数仓分层概念
30.尚硅谷_用户行为数仓搭建_数仓分层配置
31.尚硅谷_用户行为数仓搭建_原始数据层（ODS层）
32.尚硅谷_用户行为数仓搭建_DataHub推送数据到MaxCompute
33.尚硅谷_用户行为数仓搭建_dwd层日志格式分析
34.尚硅谷_用户行为数仓搭建_自定义UDTF
35.尚硅谷_用户行为数仓搭建_DWD层建表（启动日志表）
36.尚硅谷_用户行为数仓搭建_手动将ODS层数据导入DWD层
37.尚硅谷_用户行为数仓搭建_DWD层数据导入脚本
38.尚硅谷_用户行为数仓搭建_手动将DWD层数据导入DWS层
39.尚硅谷_用户行为数仓搭建_DWS层数据导入脚本
40.尚硅谷_用户行为数仓搭建_ADS层脚本及日活需求：全流程业务调度
41.尚硅谷_业务数仓理论_表的分类
42.尚硅谷_业务数仓理论_表的同步策略
43.尚硅谷_业务数仓搭建_业务数仓架构图
44.尚硅谷_业务数仓搭建_RDS服务器准备
45.尚硅谷_业务数仓搭建_创建业务数据库及表
46.尚硅谷_业务数仓搭建_ODS层数据表创建
47.尚硅谷_业务数仓搭建_建立数据同步节点
48.尚硅谷_业务数仓搭建_每日全量表同步
49.尚硅谷_业务数仓搭建_每日增量表同步
50.尚硅谷_业务数仓搭建_每日新增及变化表同步
51.尚硅谷_业务数仓搭建_ODS层调度
52.尚硅谷_业务数仓搭建_DWD层建表语句
53.尚硅谷_业务数仓搭建_手动将数据导入DWD层
54.尚硅谷_业务数仓搭建_DWD层数据导入脚本
55.尚硅谷_业务数仓搭建_DWS层建表及脚本编写
56.尚硅谷_业务数仓搭建_ADS层建表及手动导入数据
57.尚硅谷_业务数仓搭建_作业调度
58.尚硅谷_业务数仓搭建_作业调度执行
59.尚硅谷_数据导出与作业调度_创建商品销售数据同步节点
60.尚硅谷_数据导出与作业调度_创建同步节点及作业调度
61.尚硅谷_数据导出与作业调度.尚硅谷_业务数仓全流程作业调度
62.尚硅谷_数据可视化_DataV简介
63.尚硅谷_数据可视化_购买QuickBI
64.尚硅谷_数据可视化_各个渠道日活占比图_配置数据源
65.尚硅谷_数据可视化_各个渠道日活占比图_配置数据集
66.尚硅谷_数据可视化_各个渠道日活占比图_配置饼图仪表盘
67.尚硅谷_数据可视化_地区销售额分析
68.尚硅谷_数据可视化_年龄段销售额占比分析
69.尚硅谷_数据可视化_热门商品分析
70.尚硅谷_数据可视化_分享仪表盘
71.尚硅谷_数据可视化_数据门户（高级版）简介
72.尚硅谷_协同工作_RAM管理界面
73.尚硅谷_协同工作_RAM账号如何登录
74.尚硅谷_阿里云大学_项目总结