大数据用户画像系统架构设计,充电了么,陈敬雷,一、课程优势 本课程有陈敬雷老师的清华大学出版社配套教材2020年新书《分布式机器学习实战》（人工智能科学与技术丛书）: https://item.jd.com/12743009.html 购买后加助理微信chenjinglei88或omf6757进读书会交流群！ 二、课程简介 来自大型互联网公司一线的实战经验总结，比较完备的包含了大数据用户画像系统的各个模块及实现 课程总时长：70分钟 用户画像是一个非常通用普遍使用的系统，从我们的架构图中可以看出，从数据计算时效性上来讲分离线计算和实时计算。离线计算一般是每天晚上全量计算所有用户，或者按需把用户数据发生变化的那批用户重新计算。离线计算主要是使用Hive SQL语句处理、Spark数据处理、或者基于机器学习算法来算用户忠诚度模型、用户价值模型、用户心理模型等。实时计算指定的通过Flume实时日志收集用户行为数据传输到Kafka消息队列，让流计算框架Flink/Storm/SparkStreaming等去实时消费处理用户数据，并触发实时计算模型，计算完成后把新增的用户画像数据更新搜索索引。这是从计算架构大概分了两条线离线处理和实时。下面我们从上到下详细看下每个架构模块的设计及实现！ 三、额外福利 助理1微信：Chenjinglei88，助理2微信：omf6757 适用人群：适合技术开发人员、架构师等； 机器学习、推荐算法、用户画像开发者； 相关从业者或转行大数据和人工智能。