通信运营商每时每刻会产生大量的通信数据,例如通话记录,短信记录,彩信记录,第三方服务资费等等繁多信息。数据量如此巨大,除了要满足用户的实时查询和展示之外,还需要定时定期的对已有数据进行离线的分析处理。电信客服综合案例就是以此为切入点所开发的大数据实战案例。 在本课程中,你将学习到,项目架构搭建,数据生产,数据消费,数据分析,以及数据展示等项目核心业务功能的实现。学习过程中,我们将使用Flume,Kafka,HBase,Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现,并在学习过程中对各个框架的应用和原理进行梳理和剖析。
视频目录 01.介绍02.架构说明03.数据生产_功能介绍04.数据生产_搭建项目结构05.数据生产_创建共通的基础类06.数据生产_创建生产者对象07.数据生产_获取通讯录数据08.数据生产_随机生成主被叫电话号码09.数据生产_构建通话记录10.数据生产_将数据输出到日志文件中11.数据生产_将项目打成jar包发布到Linux中12.数据消费_Kafka控制台消费Flume采集的生产数据13.数据消费_Kafka JavaAPI消费Flume采集的生产数据14.数据消费_Hbase数据访问封装15.数据消费_生成分区键16.数据消费_生成分区号17.数据消费_消费数据测试18.数据消费_Hbase操作再封装19.数据消费_根据分区号查询范围数据20.数据消费_区分保存主叫被叫用户数据21.数据消费_协处理的开发和测试22.数据消费_协处理的补充说明23.数据分析_Mysql表设计24.数据分析_数据统计流程分析25.数据分析_MapperReducer架构搭建26.数据分析_Hbase数据输出到Mysql中27.数据分析_在Outputformat对象中获取缓存数据28.数据分析_使用Redis保存缓存数据29.数据分析_自定义KV & 总结30.数据展示_配置Web项目 & 服务器31.数据展示_集成SSM框架32.数据展示_SSM框架测试33.数据展示_查询用户指定时间的通话记录34.数据展示_使用Echarts展示统计结果