互联网智能广告系统简易流程与架构
很多朋友估计没有做过这一块,争取最简洁的语言描述清楚。
一、业务简述
从业务上看整个智能广告系统,主要分为:
1)业务端:广告主的广告后台
2)展现端:用户实际访问的页面
业务端,广告主主要有两类行为:
1)广告设置行为:例如设置投放计划,设置地域,类别,关键字,竞价等
2)效果查看行为:例如广告展示次数是多少,广告点击次数是多少等
展现端,用户主要也有两类行为:
1)站点浏览行为:用户浏览实际的信息,此时广告系统决定出广告主的什么广告
2)广告点击行为:此时广告系统会对广告主进行扣费
二、业务流程
下面通过一个的例子,让业务流程更直观。
步骤一:广告主在业务端投递广告
广告主登录业务端后台,进行设置:
•今日投放地域是“北京-上地”
•投放类别是“租房”
•定向人群为“女”,“30岁以下”
•需要推广的广告内容是他发布的一条“房屋出租”的帖子
•竞价设置的是0.2元
•单日预算是20元
这些数据,当然通过业务端存储到了数据层,即数据库和缓存里。
步骤二:用户来到了网站,进入了“北京-上地-租房”类别,广告初筛实施
用户产生了平台浏览行为,网站除了展示自然内容,还要展示广告内容。被展现的广告不能太离谱,太离谱用户也不会点击。
合适的广告,必须符合“语义相关性”,即基础检索属性(广告属性)必须符合(广告能否满足用户的需求,满足了点击率才高),这个工作是通过BS-basic search检索服务完成的。
BS从数据层检索到“北京-上地-租房”的广告帖子。
步骤三:用户属性与广告主属性匹配,广告精筛实施
步骤二中,基础属性初筛了以后,要进行更深层次的策略筛选(用户能否满足广告的需求),此例中,广告主的精准需求为:
•用户性别为“女”
•用户年龄为“30岁以下”
•用户访问IP是“北京”
系统将初筛出来的M条广告和用户属性进行匹配筛选,又过滤掉了一部分,最后剩余N条待定广告,这些广告既满足用户的需求(初筛),这些用户也满足广告主的需求(精筛),后者是在AS-advanced search策略服务完成的。
步骤四:综合排序,并返回Top X的广告
经过步骤2和步骤3的初筛和精筛之后,待选的N条广告既能满足用户当前的需求,用户亦能满足广告主的筛选需求,但实际情况是,广告位只有3个,怎么办呢?就需要我们对N条广告进行综合打分排序(满足平台的需求,广告平台要多赚钱嘛)。
打分排序的依据是什么呢?
有人说按照竞价排序bid,出价高的打分高(这是大家对百度最大的误解,百度是cpc收费)
有人说按照CTR点击率排序,CTR高的点的人多(百度的kpi指标可不是pv)
出价高,但没人点击,广告平台没有收益;点击率高,但出价低,广告平台还是没有收益。最终应该按照广告的出价与CTR的乘积作为综合打分排序的依据,bid*CTR。
既然bid*CTR是所有广告综合打分的依据,且出价bid又是广告主事先设定好的,那么实际上,广告排序问题的核心又转向了广告CTR的预测,CTR预测是推荐系统、广告系统、搜索系统里非常重要的一部分,是一个工程,算法,业务三方结合的问题,本文就不展开讨论了。
无论如何,N条广告,根据bid*预估CTR进行综合打分排序后,返回了打分最高的3个广告(广告位只有3个)。
有些系统没有第二步骤用户属性过滤,而是将用户属性因素考虑到综合排序中。
步骤五:展现端展示了广告,用户点击了广告
展示了广告后,展现端js会上报广告展示日志,有部分用户点击了广告,服务端会记录点击日志,这些日志可以作为广告算法实施的数据源,同时,他们经过统计分析之后,会被展示给广告主,让他们能够看到自己广告的展示信息,点击信息。
这些日志(一般会实施AB测),也是算法效果好坏评估的重要依据,根据效果逐步优化改进算法。
步骤六:对广告主进行扣费
用户既然点击了广告,平台就要对投放广告的广告主进行扣费了,扣费前当然要经过反作弊系统的过滤(主要是恶意点击),扣费后信息会实时反映到数据层,费用扣光后,广告就要从数据层下线。
三、系统综述
聊完业务流程,再来看系统架构,任何脱离业务的架构设计都是耍流氓。
从系统分层架构上看,智能广告系统分为三层:
•站点层:用户和广告主直接面向的网站站点
•服务层:为了实现智能广告的业务逻辑,提供的通用服务,此处又主要分为四大类服务:
策略服务BS:实施广告策略,综合排序
检索服务AS:语义相关性检索
计费服务:用户点击广告时进行扣费
反作弊服务:不是每次点击都扣费,要经过反作弊,去除恶意点击(相对独立,未在架构图中画出)
•数据层:用户数据,广告数据,竞价数据,日志数据等等等等
四、总结
智能广告系统的业务流程与系统架构:
1)广告主投放与设置广告
2)用户访问平台,展现合适广告
通过广告属性,进行“语义相关性”初筛,通过BS完成
通过用户属性,出价信息,点击率预测信息,进行综合打分排序筛选,通过AS完成
3)记录展现日志,点击日志,进行扣费
广告是展现,是一个:
•广告满足用户需求(初筛)
•用户满足广告需求(精筛)
•平台利益最大化(bid*CTR综合排序)
的过程
广告的排序不是由出价(bid)决定的,而是由出价(bid)*点击率(ctr)决定的。
一、业务简述
从业务上看整个智能广告系统,主要分为:
1)业务端:广告主的广告后台
2)展现端:用户实际访问的页面
业务端,广告主主要有两类行为:
1)广告设置行为:例如设置投放计划,设置地域,类别,关键字,竞价等
2)效果查看行为:例如广告展示次数是多少,广告点击次数是多少等
展现端,用户主要也有两类行为:
1)站点浏览行为:用户浏览实际的信息,此时广告系统决定出广告主的什么广告
2)广告点击行为:此时广告系统会对广告主进行扣费
二、业务流程
下面通过一个的例子,让业务流程更直观。步骤一:广告主在业务端投递广告
广告主登录业务端后台,进行设置:
•今日投放地域是“北京-上地”
•投放类别是“租房”
•定向人群为“女”,“30岁以下”
•需要推广的广告内容是他发布的一条“房屋出租”的帖子
•竞价设置的是0.2元
•单日预算是20元
这些数据,当然通过业务端存储到了数据层,即数据库和缓存里。
步骤二:用户来到了网站,进入了“北京-上地-租房”类别,广告初筛实施
用户产生了平台浏览行为,网站除了展示自然内容,还要展示广告内容。被展现的广告不能太离谱,太离谱用户也不会点击。
合适的广告,必须符合“语义相关性”,即基础检索属性(广告属性)必须符合(广告能否满足用户的需求,满足了点击率才高),这个工作是通过BS-basic search检索服务完成的。
BS从数据层检索到“北京-上地-租房”的广告帖子。
步骤三:用户属性与广告主属性匹配,广告精筛实施
步骤二中,基础属性初筛了以后,要进行更深层次的策略筛选(用户能否满足广告的需求),此例中,广告主的精准需求为:
•用户性别为“女”
•用户年龄为“30岁以下”
•用户访问IP是“北京”
系统将初筛出来的M条广告和用户属性进行匹配筛选,又过滤掉了一部分,最后剩余N条待定广告,这些广告既满足用户的需求(初筛),这些用户也满足广告主的需求(精筛),后者是在AS-advanced search策略服务完成的。
步骤四:综合排序,并返回Top X的广告
经过步骤2和步骤3的初筛和精筛之后,待选的N条广告既能满足用户当前的需求,用户亦能满足广告主的筛选需求,但实际情况是,广告位只有3个,怎么办呢?就需要我们对N条广告进行综合打分排序(满足平台的需求,广告平台要多赚钱嘛)。
打分排序的依据是什么呢?
有人说按照竞价排序bid,出价高的打分高(这是大家对百度最大的误解,百度是cpc收费)
有人说按照CTR点击率排序,CTR高的点的人多(百度的kpi指标可不是pv)
出价高,但没人点击,广告平台没有收益;点击率高,但出价低,广告平台还是没有收益。最终应该按照广告的出价与CTR的乘积作为综合打分排序的依据,bid*CTR。
既然bid*CTR是所有广告综合打分的依据,且出价bid又是广告主事先设定好的,那么实际上,广告排序问题的核心又转向了广告CTR的预测,CTR预测是推荐系统、广告系统、搜索系统里非常重要的一部分,是一个工程,算法,业务三方结合的问题,本文就不展开讨论了。
无论如何,N条广告,根据bid*预估CTR进行综合打分排序后,返回了打分最高的3个广告(广告位只有3个)。
有些系统没有第二步骤用户属性过滤,而是将用户属性因素考虑到综合排序中。
步骤五:展现端展示了广告,用户点击了广告
展示了广告后,展现端js会上报广告展示日志,有部分用户点击了广告,服务端会记录点击日志,这些日志可以作为广告算法实施的数据源,同时,他们经过统计分析之后,会被展示给广告主,让他们能够看到自己广告的展示信息,点击信息。
这些日志(一般会实施AB测),也是算法效果好坏评估的重要依据,根据效果逐步优化改进算法。
步骤六:对广告主进行扣费
用户既然点击了广告,平台就要对投放广告的广告主进行扣费了,扣费前当然要经过反作弊系统的过滤(主要是恶意点击),扣费后信息会实时反映到数据层,费用扣光后,广告就要从数据层下线。
三、系统综述
聊完业务流程,再来看系统架构,任何脱离业务的架构设计都是耍流氓。
从系统分层架构上看,智能广告系统分为三层:
•站点层:用户和广告主直接面向的网站站点
•服务层:为了实现智能广告的业务逻辑,提供的通用服务,此处又主要分为四大类服务:
策略服务BS:实施广告策略,综合排序
检索服务AS:语义相关性检索
计费服务:用户点击广告时进行扣费
反作弊服务:不是每次点击都扣费,要经过反作弊,去除恶意点击(相对独立,未在架构图中画出)
•数据层:用户数据,广告数据,竞价数据,日志数据等等等等
四、总结
智能广告系统的业务流程与系统架构:1)广告主投放与设置广告
2)用户访问平台,展现合适广告
通过广告属性,进行“语义相关性”初筛,通过BS完成
通过用户属性,出价信息,点击率预测信息,进行综合打分排序筛选,通过AS完成
3)记录展现日志,点击日志,进行扣费
广告是展现,是一个:
•广告满足用户需求(初筛)
•用户满足广告需求(精筛)
•平台利益最大化(bid*CTR综合排序)
的过程
广告的排序不是由出价(bid)决定的,而是由出价(bid)*点击率(ctr)决定的。
点击率(ctr)是一个未来将要发生的行为,智能广告系统的核心与难点是点击率预测。