ES7+Spark 构建高相关性搜索服务&千人千面推荐系统

本章综合讲述了点评搜索推荐课程的项目业务背景，架构设计理念以及所需要用到的核心技术能力。
1-1 课程导学 (11:20)
1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）
1-3 你真的会问问题吗？

本章中讲述了如何模拟现实情况中，点评搜索推荐项目从业务需求BRD到产品需求PRD，最终到技术
方案选型，架构设计及技术落地的整个过程。
2-1 项目设计---业务需求 (13:24)
2-2 项目设计---技术分解&模块设计 (11:18)
2-3 阶段小结 (01:23)
2-4 【阶段总结】项目设计总结
2-5 【勤于思考，夯实学习成果】项目设计课后习题

本章中使用了SpringBoot加Mybatis框架完成基础项目能力建设，并加装通用返回值，
异常处理，页面请求资源等处理方式完善业务系统的基础能力建设。
3-1 开发工具介绍 (11:14)
3-2 springboot web搭建 (09:23)
3-3 service及mybatis接入（上） (12:11)
3-4 service及mybatis接入（下） (15:25)
3-5 通用返回和异常处理 (22:41)
3-6 页面请求资源处理 (13:28)
3-7 【阶段总结】项目基础搭建总结
3-8 【勤于思考，夯实学习成果】项目基础搭建课后习题

本章中，将项目中业务系统能力划分为C端用户层和运营后台管理层，建设了面向用户的登录注册服务与
面向运营配置后台的统一权限管理，并建设了一套点评商户入驻体系的流程。
4-1 用户服务搭建（上） (19:08)
4-2 用户服务搭建（下） (15:59)
4-3 用户模块前端页面接入 (21:13)
4-4 运营后台之metronic模版介绍 (06:50)
4-5 运营后台管理员模块（上） (12:09)
4-6 运营后台管理员模块（下） (15:51)
4-7 运营后台首页模块 (11:18)
4-8 商家入驻流程（1） (16:11)
4-9 商家入驻流程（2） (10:05)
4-10 商家入驻流程（3） (12:01)
4-11 商家入驻流程（4） (05:01)
4-12 【阶段总结】基础服务之用户，运营，商户能力建设总结
4-13 【勤于思考，夯实学习成果】基础服务之用户，运营，商户能力建设习题

本章中，将扩展运营后台能力，把品类服务与开店能力加入运营后台，完成点评所有基础业务能力建设。
5-1 品类管理服务（上） (09:38)
5-2 品类管理服务（中） (08:14)
5-3 品类管理服务（下） (05:25)
5-4 门店管理服务（上） (22:04)
5-5 门店管理服务（中） (06:52)
5-6 门店管理服务（下） (08:05)
5-7 【阶段总结】基础服务之品类，门店能力建设总结
5-8 【勤于思考，夯实学习成果】基础服务之品类，门店能力建设习题

本章中，将使用业务系统与数据库的能力，建设关键词搜索与多条件筛选聚合过滤的二次搜索能力，并结
合LBS地理围栏通过距离控制搜索排序，同时会优先将距离与评价好的商户门店推荐给用户，完成点
评门店搜索推荐架构1.0的能力。...
6-1 门店推荐V1.0接入（上） (09:53)
6-2 门店推荐V1.0接入（中） (09:26)
6-3 门店推荐V1.0接入（下） (10:55)
6-4 门店搜索V1.0接入（1） (08:28)
6-5 门店搜索V1.0接入（2） (15:50)
6-6 门店搜索V1.0接入（3） (08:49)
6-7 门店搜索V1.0接入（4） (07:10)
6-8 【阶段总结】搜索推荐v1.0架构总结
6-9 【勤于思考，夯实学习成果】搜索推荐v1.0架构习题

本章中，会讲解通过发现搜索1.0架构中的不足引入ElasticSearch7，并讲述了分布式
搜索引擎高效和可扩展性的基本原理，同时会介绍es的基础语法。
7-1 本章目标 (01:40)
7-2 搜索的本质及原理（上） (18:28)
7-3 搜索的本质及原理（下） (06:30)
7-4 ElasticSearch及Kibana环境搭建 (13:54)
7-5 分布式搜索引擎的原理（上） (05:42)
7-6 分布式搜索引擎的原理（中） (12:46)
7-7 分布式搜索引擎的原理（下） (11:01)
7-8 ES基础语法（上） (09:32)
7-9 ES基础语法（中） (14:59)
7-10 ES基础语法（下） (11:48)
7-11 ES高级查询语法 (23:56)
7-12 ES字段类型 (04:47)
7-13 【阶段总结】ES基础总结之原理&环境
7-14 【阶段总结】ES基础语法之索引&基础查询
7-15 【阶段总结】ES基础语法之进阶基础查询&field类型
7-16 【勤于思考，夯实学习成果】ES基础习题
7-17 ES的查询如何调优
7-18 ES的写入如何调优

本章中，会结合开源数据TMDB，深入学习ES高级的数据导入，进阶的查询语句，多字段查询，过滤
排序，tf/idf bm25打分原理与自定义score打分实现，最后会闭环ES的学习。
8-1 tmdb介绍 (06:47)
8-2 tmdb索引创建（上） (07:36)
8-3 tmdb索引创建（下） (07:01)
8-4 tmdb文档导入 (14:01)
8-5 查询语句进阶（1） (07:36)
8-6 查询语句进阶（2） (09:25)
8-7 查询语句进阶（3） (08:59)
8-8 查询语句进阶（4） (04:35)
8-9 查询语句进阶（5） (06:09)
8-10 查询语句进阶（6） (04:51)
8-11 多字段查询进阶（1） (11:26)
8-12 多字段查询进阶（2） (04:02)
8-13 多字段查询进阶（3） (06:16)
8-14 多字段查询进阶（4） (12:11)
8-15 过滤与排序 (13:34)
8-16 自定义score计算（上） (07:01)
8-17 自定义score计算（下） (09:28)
8-18 【阶段总结】ES进阶之构建试验
8-19 【阶段总结】ES进阶之多字段查询
8-20 【阶段总结】ES进阶之自定义排序
8-21 【勤于思考，夯实学习成果】ES进阶之课后思考题
8-22 倒排索引和正排索引区别

本章中，会带领大家学习并接入IK中文分词器，并且借助logstash-input-jdbc构
建点评搜索所需要的全量和增量索引。
9-1 IK分词器构建（1） (05:51)
9-2 IK分词器构建（2） (04:49)
9-3 IK分词器构建（3） (05:05)
9-4 IK分词器构建（4） (10:05)
9-5 IK分词器构建（5） (04:48)
9-6 门店索引构建（上） (06:34)
9-7 门店索引构建（下） (07:58)
9-8 logstash-input-jdbc构建索引（1） (10:30)
9-9 logstash-input-jdbc构建索引（2） (15:58)
9-10 logstash-input-jdbc构建索引（3） (10:42)
9-11 logstash-input-jdbc构建索引（4） (05:50)
9-12 【阶段总结】使用ES工具升级数据接入-IK中文分词器
9-13 【阶段总结】使用ES工具升级数据接入-索引构建
9-14 【勤于思考，夯实学习成果】使用ES工具升级数据接入-习题

本章中将升级搜索接入层应用能力，将原本基于业务数据库的1.0搜索架构改成基于ElasicSe
arch7为搜索引擎并通过RestApi方式接入项目的应用。
10-1 门店搜索（1） (05:27)
10-2 门店搜索（2） (05:16)
10-3 门店搜索（3） (04:23)
10-4 门店搜索（4） (23:40)
10-5 java搜索接入（1） (08:39)
10-6 java搜索接入（2） (17:15)
10-7 java搜索接入（3） (12:55)
10-8 java搜索接入（4） (09:23)
10-9 java搜索接入（5） (09:27)
10-10 java搜索接入（6） (06:44)
10-11 java搜索接入（7） (08:27)
10-12 遗留问题 (01:36)
10-13 【阶段总结】搜索2.0架构之搜索接入之基本调试
10-14 【阶段总结】搜索2.0架构之搜索接入之java接入
10-15 【勤于思考，夯实学习成果】搜索2.0架构之搜索接入

在本章中，通过发掘搜索2.0中的不足，结合定制化分词器，同义词扩展，词性相关性重塑等多维度技
术优化搜索算法。
11-1 定制化分词器之扩展词库（上） (15:23)
11-2 定制化分词器之扩展词库（下） (02:30)
11-3 同义词扩展 (14:45)
11-4 相关性重塑（上） (10:09)
11-5 相关性重塑（中） (16:14)
11-6 相关性重塑（下） (15:16)
11-7 【阶段总结】点评搜索进阶之相关性改造总结
11-8 【勤于思考，夯实学习成果】点评搜索进阶之相关性改造习题

在本章中，通过发掘搜索2.0中的不足，结合定制化canal中间件的学习，完成了准实时索引能力的建设。
12-1 canal索引构建进阶（1） (06:17)
12-2 canal索引构建进阶（2） (08:58)
12-3 canal索引构建进阶（3） (07:47)
12-4 canal索引构建进阶（4） (10:57)
12-5 canal索引构建进阶（5） (10:20)
12-6 canal索引构建进阶（6） (09:05)
12-7 canal自定义接入（1） (09:19)
12-8 canal自定义接入（2） (07:27)
12-9 canal自定义接入（3） (19:37)
12-10 canal自定义接入（4） (11:51)
12-11 搜索课程总结 (02:59)
12-12 【阶段总结】准实时索引能力建设
12-13 【勤于思考，夯实学习成果】准实时索引建设习题

本章中，将通过发掘点评推荐1.0架构中的不足，改造推荐体系，定义了个性化召回算法和个性化排序
算法的分层推荐模型完成了千人千面的推荐架构设计。
13-1 推荐原理（上） (09:11)
13-2 推荐原理（下） (09:58)
13-3 推荐系统架构 (16:57)
13-4 个性化召回als算法原理讲解 (10:29)
13-5 个性化排序lr算法原理讲解 (03:51)
13-6 spark原理讲解 (13:10)
13-7 als算法实现（上） (09:49)
13-8 als算法实现（中） (23:26)
13-9 als算法实现（下） (19:39)
13-10 lr算法实现（上） (02:58)
13-11 lr算法实现（中） (08:17)
13-12 lr算法实现（下） (13:45)
13-13 点评推荐接入（上） (09:33)
13-14 点评推荐接入（下） (13:15)
13-15 课程总结 (03:26)
13-16 【阶段总结】推荐系统总结
13-17 如何管理AB测试复杂的路由策略

卖家进行搜索推荐时，也会对用户对商品的点击以及购买行为做分析，依此进行推荐。点击率预估模型就
是用在这种场景。本章着重讲解点击率预估模型中的随机森林算法和GBDT算法、对GBDT进行实现和测试。
14-1 点击率预估模型的介绍 (08:44)
14-2 点击率预估模型算法讲解（上） (13:52)
14-3 点击率预估模型算法讲解（中） (11:17)
14-4 点击率预估模型算法讲解（下） (11:51)
14-5 点击率预估模型随机森林算法 (11:03)
14-6 点击率预估模型GBDT算法 (07:15)
14-7 点击率预估模型实现 (18:23)
14-8 点击率预估ABtest (24:03)
14-9 ES是如何实现Master选举的