feed流个性化推荐架构和算法分享

14 篇文章 1 订阅
订阅专栏

目录

一、场景

1. 应用场景

2. feed流资讯应用场景

二. 架构

1. 物理架构

2. 逻辑架构

三、召回算法

1. 用户画像

2. tag热度(tagCtr)

3. LBS/时间轴

4. 关键词标签

5. 主题标签

6. 语义标签

7. 协同过滤

8. SimRank

9. BERT

10. FFM

11. Deep & Wide

四、排序算法

1. LR

2. FM/FFM

3. GBDT+LR

4. XGBOOST

5. DEEPFM

6. DIN

6.1 数据探索

6.2 模型区别

五、策略

1. 二次曝光

2. 规则混排

3. 负反馈

4. 算法降级

5. 兴趣探索


推荐系统从诞生之初,就是为了解决信息过载问题。经过几年发展,已经广泛应用于互联网各大场景中。本文主要从场景、架构、算法和策略四部分展开阐述。

一、场景

1. 应用场景

行业分类场景代表产品优化目标
资讯

首页feed流资讯推荐

详情页相似推荐

今日头条ctr、staytime
电商

首页feed流商品和专场推荐推荐

猜你喜欢

商品详情页推荐

加购相似推荐

淘宝、京东gmv、cvr、ctr
社交

相似好友推荐

微信、QQuv
短视频/音乐

视频和音乐推荐

抖音、网易云音乐staytime
生活服务

商家推荐

美团点评ctr、cvr、gmv
竞技游戏

段位匹配

王者荣耀胜率50%

2. feed流资讯应用场景

二. 架构

1. 物理架构

2. 逻辑架构

三、召回算法

1. 用户画像

2. tag热度(tagCtr)

根据一级tag、二级tag和三级tag选取对应tag下topN(热度)item作为候选集

3. LBS/时间轴

根据位置和时间轴投放当地或最新item

4. 关键词标签

采用tf-idf或word2vec算法提取文本关键词标签,筛选候选集。

5. 主题标签

采用tf-idf或word2vec算法提取文本主题标签,筛选候选集。

6. 语义标签

采用tf-idf或word2vec算法提取文本语义标签,筛选候选集。

7. 协同过滤

8. SimRank

9. BERT

10. FFM

11. Deep & Wide

四、排序算法

1. LR

2. FM/FFM

3. GBDT+LR

4. XGBOOST

5. DEEPFM

6. DIN

6.1 数据探索

Diversity

用户兴趣比较广泛,男性用户对游戏、篮球和财经都感兴趣。

Local activiation

用户当前的点击行为,只与过去某些行为有关,而非所有。如男性点击游戏内容,并不与过去点击篮球和财经有关。如下:

V_{u}=f(V_{a})=\sum_{i=1}^{N}w_{i}*V_{i}=\sum_{i=1}^{N}g(V_{i},V_{a})*V_{i}

其中,假设用户的兴趣的Embedding是V_{u},候选广告的Embedding是V_{a},用户兴趣和候选的广告的相关性可以写作F(U,A)=V_{a}*V_{u}。如果没有Local activation机制的话,那么同一个用户对于不同的广告,V_{u}都是相同的。举例来说,如果有两个广告A和B,用户兴趣和A,B的相似性都很高,那么在V_{a}V_{b}连线上的广告都会有很高的相似性。

6.2 模型区别

五、策略

1. 二次曝光

2. 规则混排

3. 负反馈

4. 算法降级

5. 兴趣探索

[数据挖掘案例]逻辑回归LR模型实现电商商品个性化推荐
woniu201411的博客
07-04 5191
目录   一、问题描述 二、数据摸底 三、数据清洗和特征筛选 3.1 数据抽取和清洗 3.2 特征筛选:决策树 3.3 特征分布转换 3.4 特征共线性检查 四、模型搭建 4.1 数据集 4.2 模型训练 4.3 模型验证 五、模型上线效果跟踪 一、问题描述       在电商平台中,有海量的商品,如何为用户挖掘出感兴趣的商品,真正实现千人千面具有重要的意义。商品得分...
数据人看Feed-架构实践
02-24
Feed:可以理解为信息,解决的是信息生产者与信息消费者之间的信息传递问题。我们常见的Feed场景有:1手淘,微淘提供给消费者的首页商品信息,用户关注店铺的新消息等2微信朋友圈,及时获取朋友分享的信息3微博,粉丝获取关注明星、大V的信息4头条,用户获取系统推荐的新闻、评论、八卦关于Feed架构设计,包括以上场景中的很多业内专家给出了相应的思考、设计和实践。本人是大数据方向出身的技术人,所在的团队参与了阿里手淘、微淘Feed的存储层相关服务,我们的HBase/Lindorm数据存储产品在公有云上也支持着Soul、趣头条、惠头条等一些受欢迎的新媒体、社交类产品。我们在数据存储产品的功能
【回顾】如何搭建一套个性化推荐系统
m0_37586850的博客
03-22 2095
个性化推荐系统,设计的巧妙就可以立竿见影地提升运营效率和用户转化率,尤其在内容分发、电商、社交等领域实践相当出彩(微博、各新闻门户、头条、京东、...
Java项目——黑马点评(好友关注)
最新发布
不去想做的结果,只在乎自己有没有认真做。之后就是方法,选择,胆识。人生无几载,追风赶月莫停留。
03-27 769
推拉模式是一个折中的方案,站在发件人这一段,如果是个普通的人,那么我们采用写扩散的方式,直接把数据写入到他的粉丝中去,因为普通的人他的粉丝关注量比较小,所以这样做没有压力,如果是大V,那么他是直接将数据先写入到一份到发件箱里边去,然后再直接写一份到活跃粉丝收件箱里边去,现在站在收件人这端来看,如果是活跃粉丝,那么大V和普通的人发的都会直接写入到自己收件箱里边来,而如果是普通的粉丝,由于他们上线不是很频繁,所以等他们上线时,再从发件箱里边去拉信息。本例中的个人页面,是基于关注的好友来做Feed,因此采用。
推荐业务、feed产品及推荐算法策略架构解析-课程笔记1
wangwangstone的博客
08-17 1259
Re10ch1 本文是对七月在线推荐算法高级班课程1的一个课堂笔记记录。主要通过提问的方式来从外向内串起对推荐业务的理解。 推荐的理解: 推荐技术: 将机器学习的技术应用到推荐业务中 label =model(item,user,context) 推荐的item是什么: 推荐的物品 推荐item的对象user : context: 上下文 label是指什么? 业务需要的指标就是对应的label,需要结合业务。 如新闻推荐,新闻被用户点击阅读的概率。 user 具体有哪些...
Feed及其常见算法简介
HappinessSourceL的博客
08-23 6947
消息来源[1](英语:web feed、news feed、syndicated feed又译为源料[2]、馈送[3]、信息提供[4]、供稿[5]、摘要、源[6]、新闻订阅、网源[7])是一种数据格式,网站可通过它将最新信息传播给用户,用户能够订阅网站的先决条件是网站可提供持续更新的信息。 以上摘自wiki 什么是FeedFeed是一个互联网早起概念,本意是RSS中用来接
推荐系统Feed - Blog4
qq_38995159的博客
07-06 4724
谈谈Feed 不知道大家有没有遇到过一刷抖音就停不下的情况呢?其实该平台就是利用了feed推荐让人“上瘾”,所以今天来谈谈feed~ 1、Feed定义 feed是一种给用户持续提供内容的数据形式 是由多个内容提供源组成的资源聚合器,由用户主动订阅消息源并且向用户提供内容。 总结一下:feed是将用户主动订阅的若干消息源组合在一起形成内容聚合器,帮助用户持续地获取最新的订阅源内容。严格按照上述定义来说,我们通常说的搜索结果、排序列表都不能算作feed。 最早的web时代,订阅源一般是新闻网站以及博
推荐系统-模型:Feed 推荐、 DSSM,DIN,ESMM, MMOE、FM、Wide&DeepDeepFM、DCN
u013250861的博客
07-27 567
推荐系统-模型Feed推荐、DSSM,DIN,ESMM,MMOE、FM、Wide&DeepDeepFM、DCN。
网易feed架构的设计与实现
02-24
feed”在纵向上可以拆解成三个部分:源内容引入源内容到feed内容过渡feed内容投放在根据业务架构做技术抽象的时候,整个架构可以归纳收敛到以下几个技术点:如何做好内容引入的过滤策略如何保证内容存储架构的高...
知乎 feed 架构演进 姚钢强 知乎.pdf
12-19
有关知乎在信息推荐领域的架构演化过程,对于推荐系统的技术过度,技术选型提供了学习,借鉴的宝贵经验。可以少走弯路了,毕竟前人已经踩过很多坑了。
人工智能AI课 推荐算法实战个性化电商广告推荐系统
fegus的博客
04-27 1485
个性化电商广告推荐系统介绍 1.1 数据集介绍 Ali_Display_Ad_Click是阿里巴巴提供的一个淘宝展示广告点击率预估数据集 数据集来源:天池竞赛 原始样本骨架raw_sample 淘宝网站中随机抽样了114万用户8天内的广告展示/点击日志(2600万条记录),构成原始的样本骨架。 字段说明如下: user_id:脱敏过的用户ID; adgroup_id:脱敏过的广告单元ID; time_stamp:时间戳; pid:资源位; noclk:为1代表没有点击;为0代表点击; clk:为0
高并发系统设计-Feed系统设计
qq_61039408的博客
01-20 2800
有两种实现方式:push和pull实现,首先讨论push模式。
RSS Feed推荐: Ask Yahoo!
cong870624的博客
04-04 270
Ask Yahoo中有许多奇奇怪怪的问题,奇怪的是这些奇怪的问题竟然都能得到严肃的回答. :)Rss Feed: http://ask.yahoo.com/ask/index.xml 最近最热门的一个问题是:If one per...
feed推荐系统设计
简单就好
10-10 1万+
本文主要分享个人经历中关于推荐系统的应用理解,包括整体推荐系统架构设计、推荐后台服务设计。 推荐系统架构设计 1.0 推荐系统根据数据使用划分为在线和离线两部分。APP服务日志通过flume采集,然后传给离线和在线业务使用。离线数据主要用来离线训练模型,如gbdt、lr、xgboost等,在线数据特征用来让模型进行在线预测。如下图所示: 在线部分 实时数据从kafka获取到后直接进入spar...
WWW'22「微软」FeedRec:基于多反馈的新闻Feed推荐
abcdefg90876的博客
03-30 526
关注我们,一起学习~title:FeedRec: News Feed Recommendation with Various User Feedbackslink:https://arxiv.org/pdf/2102.04903.pdfcode:https://github.com/wuch15/FeedRecfrom:WWW 20221. 导读大多数现有的新闻推荐方法都...
3亿会员、4亿商品,深度学习在大型电商商品推荐的应用实践!
木东的博客
11-05 539
常见算法套路 电商品推荐中的常见算法大致如下: 基于商品相似度 比如食物 A 和食物 B,根据它们的价格、味道、保质期、品牌等维度,可以计算它们的相似程度,可以想象,我买了包子,很有可能顺路带一盒水饺回家。 优点:冷启动,只要你有商品的数据,在业务初期用户数据不多的情况下,也可以做推荐。 缺点:预处理复杂,任何一件商品,维度可以说至少可以上百,如何选取合适的维度进行计算,涉及到工程经...
从3张图了解Pinterest Feed算法架构设计
多看多听多总结
01-21 2171
转自http://timyang.net/ Pinterest首页的Feed消息,最早是按照用户的关注对象的Pin(Pin类似微博)聚合后按时间进行排序(自然序,类似朋友圈),后来版本的feed系统放弃了自然序,而是根据一定规则算法来设计,内部称之为Smart feed,其算法架构根据其公开资料整理如下,值得业界做信息产品的技术架构师参考。 Pinterest每个用
系统学习Feedl技术
gou553323的博客
03-04 440
1.这个技术出现的背景、初衷和要达到什么样的目标或是要解决什么样的问题 Feed,就是我们常常看到的“动态”、“新鲜事”,是一种信息。当用户与一些内容源建立了硬链接后,这些内容产生的动态,就会源源不断地向用户,多个内容源产生的动态会被聚合后呈现在用户面前。 包括社交动态的信息,也有图文资讯的信息,短视频信息。 当你加入一个社交网络,就成了这个网络中的节点之一,其他节点的风吹草动你就想了解一下,同时别的节点也知道你的风吹草动。这个社交网络中任何一个节点“动一下”,都会以feed的形式在整个网络中荡
推荐系统FM & FFM算法解读与实践
热门推荐
baymax_007的博客
11-13 3万+
推荐系统和计算广告业务中,点击率CTR(click-through rate)和转化率CVR(conversion rate)是衡量量转化的两个关键指标。准确的估计CTR、CVR对于提高量的价值,增加广告及电商收入有重要的指导作用。业界常用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + ...
feed信息怎么测试
06-13
测试feed信息可以采用以下方法: 1. 静态测试:检查feed信息的排版、显示效果、链接跳转等方面是否正常。 2. 功能测试:测试feed信息的关注、点赞、评论、转发等功能是否正常。 3. 性能测试:测试feed信息在不同网络环境下的加载速度、响应速度、并发性能等方面是否正常。 4. 兼容性测试:测试feed信息在不同的设备和操作系统上是否正常显示和运行。 5. A/B测试:通过对不同版本的feed信息进行对比分析,确定哪个版本更受用户欢迎,从而优化feed信息的设计和内容。 需要注意的是,测试feed信息需要考虑到用户的行为习惯和个性化需求,尽可能模拟真实的用户场景,以保证测试的准确性和有效性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
写文章

热门文章

  • 推荐系统FM & FFM算法解读与实践 37544
  • ClickHouse安装和使用技巧 15843
  • spark ml实现逻辑回归案例分析 12628
  • 深度兴趣网络模型探索——DIN+DIEN+DSIN 11177
  • 计算广告——读书笔记(一) 9699

分类专栏

  • ELK 2篇
  • hadoop 13篇
  • tensorflow 5篇
  • algorithm 14篇
  • python 1篇
  • spark 9篇
  • 特征工程 5篇
  • TF-IDF 1篇
  • word2vec 1篇
  • LR 1篇
  • 数据库 1篇
  • 读书笔记 2篇

最新评论

  • 推荐系统FM & FFM算法解读与实践

    嗯哼自信点: 请问数据集什么格式

  • 计算广告——读书笔记(二)

    成长是自己的事: 原书内容太晦涩了

  • 推荐系统FM & FFM算法解读与实践

    toasda: 楼主问一下 ffm里面f是不是隐向量需要训练出来的

  • 深度兴趣网络模型探索——DIN+DIEN+DSIN

    weixin_42001089: 可以看看相关的代码解读:https://mp.weixin.qq.com/s/pbh8Kjl9nHsAFTQ6TTvthg

  • 推荐系统FM & FFM算法解读与实践

    ZQ_ZHU: 在第二部分特征组合中,参数应该是w0,wi,wij

您愿意向朋友推荐“博客详情页”吗?

  • 强烈不推荐
  • 不推荐
  • 一般般
  • 推荐
  • 强烈推荐
提交

最新文章

  • 多分类预估和auc评估
  • 谈谈做算法中踩过的一些坑
  • 强化学习进阶——DQN
2020年1篇
2019年12篇
2018年30篇

目录

目录

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

深圳SEO优化公司连云港网站优化按天计费哈密企业网站制作推荐宜春优化价格苏州网站搭建报价丽江设计公司网站价格广州建站渭南网站优化按天收费多少钱沧州建设网站报价淄博关键词按天计费价格镇江关键词排名包年推广报价本溪网站搭建价格新余网站优化推广报价淄博建设网站公司娄底网站优化排名推荐民治阿里店铺运营哪家好清徐营销型网站建设价格鹤壁营销网站哪家好北海网站推广系统报价石家庄网站优化按天收费推荐杭州SEO按效果付费推荐盘锦网页设计宝安企业网站改版伊春模板推广公司运城网站排名优化公司安顺如何制作网站哪家好杭州网站定制玉溪网站优化推广汕头关键词排名包年推广价格光明建设网站桂林阿里店铺托管报价歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化