《社交图谱挖掘与社会化推荐引擎.pptx》由会员分享,可在线阅读,更多相关《社交图谱挖掘与社会化推荐引擎.pptx(40页珍藏版)》请在三一文库上搜索。
1、揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 社交图谱挖掘与社会化推荐引擎 邓雄 人人网应用研究中心、人人清华联合实验室负责人 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 关于我 人人网应用研究中心负责人、 人人网清华联合实验室负责人、 曾任职百度商务搜索部鳳巢广告平台Rank 组高级研发工程师 帝国理工(英) 数据挖掘 PhD 受邀演讲: IBM I
2、reland Research Center (In English),2010 杭州阿里,2013.10 架构师大会 Qcon,2013.11 中国软件技术大会,2013.12 Big Data 二度人脉;同兴趣;亲人;情人; 协同过滤/内容关联/ 推荐解 释 过滤模块 实验分流 平台 系统监控 名片卡 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 线上统一排序模型 功能:(1)多种离线算法混合排序、所有推荐位统一排序 基于概念漂移检测算法来混合排序多个算法产生的好 友推
3、荐结果 不同算法权重归一化 (2)线上推荐位衰减 基于show和加好友关系的衰减 Power Law 成果:移动端找人页和消息中心加好友量分别提高14.8%,17.5% 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 数据挖掘案例二:好友推荐算法库 主要挑战之二 Two-step Link Prediction 目标 增加好友关系的边数 提高发送-接受转化率 提升推荐准确度 提升双方的体验 (接受好友申请) Accept 目标 增加总体发送量 提高发送转化率 提升推荐准确度
4、不足 仅提升发送方的体验 好友关系边增长缓慢 (发送好友申请) Invitation 目标 增加推荐位 提高曝光数 不足 算法策略不足 用户体验较差 (展示好友推荐) Show xx % x 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John Results 好友申请发送率提高近 100% 首页推荐位发送申请数 提高近70% u fof f1 f2 好友推荐算法库1:Friends of Friends Challenges 怎样推荐潜在最佳二度好友? 平均每个用户二度好友数在4
5、万 2亿用户*4万=8万亿 网状海量数据:200TB 日更新数据:10亿次 Computing paradigm 建立好友关系的可能性:有10个 共同好友是有1个共同好友为12倍 HDFS/HBase/MapReduce The system 线下计算:全量更新4.5小时/次;增量1小 时/次 线上更新:月活跃用户每天2次,日登用户 每天4次 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 好友推荐算法库2:好友簇算法 算法原理: 社会网络拓扑结构中存在大量的强关系紧密结构
6、将用户分成簇,同簇的成员之间具备相近的社交关系 好友簇模型: 最大团,层次聚类 效果: 加好友转化率提高122% 首页推荐位加好友数提高近89% 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 好友推荐算法库3:加好友趋势预估模型 Jun. 2013 有道同 事 新入职人人同事 人人同 事 大学同学 商业产品部& 应用研究中心 主站&3G业务 同事 有道同事 大学同学 人人游戏同 事 renren 李伟 Motivation 好友最大扩充的方向未必是当前 时间最大的群组 Th
7、e model 发现用户对不同群组的倾向性 根据用户反馈及时调整倾向性 为用户推送当前时刻最想扩充的群组对应的 好友 Jun. 2011 增加近700条边 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 。 多数据源整合生成特征 Action/Business LOG Cache MySql Hbase 多模型组合提高精度 Boosting Random Forest 离线评估/模型更新自动化 MAE/RMSE AUC 训练、评测、更新自动化 线上实验 A/B test 实时
8、报表反馈 Data Collection Action Log Cache HBase Data Preproces sing Feature Extraction Decistion Tree SVM Logit Regression Random Forest Model Selection Offline Evaluation Model Updation 线上实验 . 好友推荐算法库4:加好友趋势预估模型 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 摘要 人人应用
9、研究中心简介 社会化图谱挖掘案例概述 图谱挖掘一:社会化推荐系统概览 图谱挖掘二:好友推荐算法库 图谱挖掘三:好友亲密度模型 图谱挖掘四:好友智能分组算法 图谱挖掘五:热点内容检测及传播分析 社会化图谱挖掘主要任务归纳及展望 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 图谱挖掘三:好友亲密度模型 为什么有用? 好友Ranking UGC Ranking 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.d
10、engrenren- Weibo:邓雄John 图谱挖掘三:好友亲密度模型 为什么有用? 好友Ranking UGC Ranking 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John What matter? 交互行为 用户资料 用户主动排序 特别好友 新鲜事黑白名单 The method 交互建模 以交互周期为单位增量计算 不同行为赋予不同权重 区分交互对象,人重要于内容 区分短时间连续交互行为与间隔交互行为 静态资料建模 资料相似度 共同好友 图谱挖掘三:好友亲密度模型 揭
11、示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 图谱挖掘三:好友亲密度模型 黄晶(85432256): top 15 Strong Renren Friends 22819 金玲 14482 汤*信? 23 25 任*涛 23 75 王洋 103 64 陈一舟 200 30 刘健 225 732 唐智晖 happy 237 62 *疆 20 032 庄*斌 7951 11 许朝* 11 200 72 李* 12 23 342 张* 13 22 96 裴* 14 200 53 刘
12、启荣 15 200 08 唐* 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 摘要 人人应用研究中心简介 社会化图谱挖掘案例概述 图谱挖掘一:社会化推荐系统概览 图谱挖掘二:好友推荐算法库 图谱挖掘三:好友亲密度模型 图谱挖掘四:好友智能分组算法 图谱挖掘五:热点内容检测及传播分析 社会化图谱挖掘主要任务归纳及展望 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄J
13、ohn 文本 人人早期同事组 ,80%以上资料 吻合 有 道 同 事 组 人人近期同事组 , 资料吻合 已有分组获 得匹配名字 孤立组点 Problems Groups are fundamental to cascades and privacies. However, to create groups manually is inconvenient for many, especially for users of many friends. How to evaluate results automatically The model Improving Walktrap to gro
14、up friends Filtering, matching, merging, naming groups based on users info. and existed groups. 图谱挖掘四:好友智能分组算法 The Result renren李伟, Jun. 2013 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 图谱挖掘四:好友智能分组算法 (Feedback) 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Em
15、ail: xiong.dengrenren- Weibo:邓雄John 摘要 人人应用研究中心简介 社会化图谱挖掘案例概述 图谱挖掘一:社会化推荐系统概览 图谱挖掘二:好友推荐算法库 图谱挖掘三:好友亲密度模型 图谱挖掘四:好友智能分组算法 图谱挖掘五:热点内容检测及传播分析 社会化图谱挖掘主要任务归纳及展望 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John SMS聊天数据 图谱挖掘五:热点内容检测及传播分析 目的及意义: 分析人人用户特性及信息传播规律,促进UGC传播 主要任
16、务: 发现流行热门话题趋势 发现热门信息传播规律 理解SNS与SMS在促进话题演化的区别 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John 图谱挖掘五:热点内容检测及传播分析 结果举例:9月份的部分热门关键词: 土豪我们做朋友吧 学生会招新 五仁月饼 土豪金 教师节 中秋节 考研大纲 李天一 王菲李亚鹏 四六级报名 夏俊峰 小爸爸 中 国好声音 基于信息流传播的热门话题产生原因分析: 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! E
17、mail: xiong.dengrenren- Weibo:邓雄John 摘要 人人应用研究中心简介 社会化图谱挖掘案例概述 图谱挖掘一:社会化推荐系统概览 图谱挖掘二:好友推荐算法库 图谱挖掘三:好友亲密度模型 图谱挖掘四:好友智能分组算法 图谱挖掘五:热点内容检测及传播分析 社会化图谱挖掘主要任务归纳及展望 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! Email: xiong.dengrenren- Weibo:邓雄John Individuals 好友关系推荐 好友亲密度预 估 用户影响力预 估 用户信赖度预 估 用户隐 私控制 用户身份识别 搜人排序 Groups 好友智能分组及自动 命名 用户群组划分可视化 聊天群/讨论组 推荐 人脉关系检索 多社交图谱 融合 LBS附近好友推荐 社交图谱挖掘主要任务展望 Cascades 热点UGC检测 及预估 新鲜事聚合 新鲜事智能排 序 信息流传播可 视化 Interest Graph UGC内容推荐 小组小站推荐 用户兴趣发现 智能用户保留与召回 广告兴趣定向 浏览导 航优化 StructureSocial Graph 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力!
链接地址:https://www.31doc.com/p-3677280.html