计算广告笔记 (1)-- 广告的基本知识

本系列文章是刘鹏老师的计算广告学中的一些记录。本文是第一章的相关笔记:广告的基本知识,主要介绍广告的定义与模型,目前在线广告的特点、技术架构与市场形态,可以说简要地概括了整个课程的内容。

什么是广告?

广告有商业上的诉求和目的,并不是简单的技术的堆砌。

广告的定义

广告是由已确定的出资人通过各种媒介进行的有关产品 (商品、服务和观点) 的,通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。

重点:

广告的主体:出资人 (sponsor) 即广告主 (advertiser),媒介 (medium),受众 (audience) 广告的本质功能:是借助某种有广泛受众的媒介的力量,完成较低成本的用户接触 (reach)

品牌广告 (Brand Awareness) 与效果广告 (Direct Response)

品牌广告:创造独特良好的品牌或产品形象, 目的在于提升较长时期内的离线转化率

品牌广告

效果广告:有短期内明确用户转化行为诉求的广告。用户转化行为例如:购买, 注册,投票,捐款等。大部分互联网广告都是这种类型。

效果广告

广告的有效性模型

三个大阶段,同时可分为 6 个小阶段

广告有效性模型

这里值得注意的几点有

1. 广告的天然属性(如广告的位置)很重要,远远强于技术带来的效果 2. 引起用户关注时需要遵循一定的原则:以上列出了三点 3. 解释阶段包括用户对广告的理解和认可两方面;理解阶段 4. 保持(retention)主要指品牌在用户中树立起其形象,但是点击率往往不会高

下面一些广告策略的效果,这些广告策略都是有利有弊的,下面的 + 表示对该项有正面效果, - 表示对该项有负面效果。

广告策略的效果

在线广告

在线广告是与传统的线下广告对比而言的,下面主要介绍在线广告的特点、目前的市场、核心计算问题。

在线广告的特点

当前的在线广告行业的有以下特点

1) 技术和计算导向。原因是数字媒体的特点使在线广告可以进行精细的受众定向,而技术使得广告决策和交易朝着计算驱动的方向发展 2) 可衡量性。指的是可以用量化的方式来衡量广告的效果,广告的点击是效果的直接收集途径 3) 标准化。指的是有行业制定了相关的规则来指导广告市场。如下是一些美国广告行业相关的机构。

iab
  • Interactive Advertising Bureau
    • 在线广告供给方的行业协会,推动数字化市场营销行业的发展
    • 制定市场效果衡量标准和在线广告创意的标准
    • 会员: Google, Yahoo, Microsoft, Facebook 等
4a
  • American Association of Advertising Agencies
    • 主要的协议是关于广告代理费用的收取约定 (17.65%),以避免恶意竞争
    • 主要集中在创意和客户服务,在线业务是一部分
    • 会员:Ogilvy & Mather, JWT, McCann 等,Dentsu 等非 4A 会员的大公司但也被列为 4A 公司
ana
  • Association of National Advertisers
    • 主要代表广告需求方的利益 (也有媒体和代理会员)
    • 会员:AT&T, P&G, NBA 等

在线广告市场

在线广告市场发展情况如下所示,主要分为了三大部分:需求方,供给方和连接两者的平台,需求方指的是需要投放广告的广告主,供给方指的是提供广告位的媒体。

在线广告市场

从媒体也就是 supply 端来看,其变现的手段有以下三种

在线广告变现手段

方式一:将广告位托管给广告网络 (Ad net1) 方式二:将广告位对接到广告交易平台 (Adx), 以实时竞价的方式变现 方式三:将广告位托管给 SSP(supply side platform), 通过 SSP 可以对接多个广告网络和 DSP,按照动态分配的逻辑选择变现最高的需求方。

上面简单的说明了媒体方通过广告位进行变现的方式,涉及到多个概念,可以参考刘鹏的《计算广告》中的第六章内容。

在线广告核心计算问题

在线广告的核心计算问题是 ROI(Return On Investment,投资回收率)其定义如下

Find the best match between a given user u, in a given context c, and a suitable ad a.\[\begin{align}\max\sum_{i=1}^{T} ROI(a_i, u_i, c_i)\]\begin{align}

上面的 \(T\) 表示广告共展示 \(T\) 次,ROI 主要有两部分构成: InvestmentReturn,一般来说主要优化的目的在于 Return, 其计算公式如下

\[\begin{align} Return = \sum_{i=1}^{T} \mu(a_i, u_i,c_i)v(a_i,u_i) = \sum_{i=1}^{T} e(a_i, u_i,c_i) \end{align}\]

其中

\(\mu(a_i, u_i,c_i)\) 表示点击率 \(a_i, u_i,c_i\) 分别表示广告,用户和广告上下文 \(v(a_i,u_i)\) 表示点击价值 \(e(a_i, u_i,c_i)\) 表示 eCPM(expected CPM,预期每次展示能够带来的价值)

而对上式的不同的分解对应不同的市场形态:

  • CPM(Cost per mille) 市场: 按照千次展示结算。是需求方与供应方约定好千次展示的计费。在这种方式下,点击率和点击价值都需要需求方预估。
  • CPC(Cost per click) 市场: 按照点击结算,最早产生于搜索广告。在这种方式下,点击率估计交给供给方,点击价值的估计交给需求方,并通过点击出价的方式向市场通知自己的估价。
  • CPA(Cost per action)/CPS(Cost per Sale)/ROI 市场: 按照转化行为数、销售订单数和投入产出比来结算。这三个都是按照转化付费的一些变种。在这种方式下,点击率和点击价值都需要供给方预估

CPA/CPS/ROI 市场中需要注意广告主可能会有作弊行为: 如隐瞒订单,卖高价物品(品牌得到了展示,但是转化率低,不用向平台付费)

优化 ROI 的问题可从以下两个角度来考虑,每个角度都有其重点关注的点,下面简单列出

从优化角度来看,主要的关注点在于

  • 特征提取:受众定向
  • 微观优化:CTR 预测
  • 宏观优化:竞价市场机制
  • 受限优化:在线分配
  • 强化学习:探索与利用
  • 个性化重定向:推荐技术

从系统角度来看,主要的关注点在于

  • 候选查询:实时索引
  • 特征存储:No-sql 技术
  • 离线学习:Hadoop
  • 在线学习:流计算
  • 交易市场:实时竞价

在线广告计算的主要挑战有

  1. 大规模 (Scale):百万量级的页面,十亿量级的用户,需要被分析处理; 高并发在线投放系统 (例: Rightmedia 每天处理百亿次广告交易); Latency 的严格要求 (例: ad exchange 要求竞价在 100ms 内返回)
  2. 动态性 (Dynamics):用户的关注和购物兴趣非常快速地变化
  3. 丰富的查询信息 (Rich query): 需要把用户和上下文中多样的信号一起用于检索广告候选
  4. 探索与发现 (Explore & exploit):用户反馈数据局限于在以往投放中出现过的 \((a, u, c)\) 组合,需要主动探索未观察到的领域,以提高模型正确性

搜索、广告与推荐

搜索,广告和推荐可以说是联系紧密同时又有各自特点的三个领域。

比较

比起搜索,广告不需要爬虫,索引数也比较少。

推荐不等于个性化,个性化是推荐的一个准则,其他准则还包括新鲜性,多样性等。

广告与推荐系统:文字广告点击率高于图片广告点击率,但是推荐系统刚好相反

推荐与广告的一个重要区别在于 Downstream 优化,推荐出来的物品还可顺带其他的推荐物品,优化的目的是一系列用户可能会点击的物品;而广告的推送只是要优化用户对这个广告的点击率。

在线广告系统结构

下面的在线广告系统结构图,需要注意这并非实际设计图,只是概念性的结构图

在线广告系统

从上图可以看到,整个系统可以分为四大部分

  1. 高并发的投送系统 (Ad Server):在线部分,根据 \(u,c\) 决定出 \(a\), 特点是高并发

  2. 受众定向平台:离线部分,分布式机器学习,用于预估点击率等信息,常用的是 Hadoop 平台

  3. 数据高速公路:收集线上日志文件等供其他部分使用

  4. 流式计算平台:重点在于实时性,比 Hadoop 要快,包括反作弊,计价,实时索引 (广告的加入和删除) 等任务

将上面的架构图各部分做更细致的划分时,可以得到如下的划分图

在线广告系统更细致的分类
  1. Ad Serveing: 主要指 Ad Server 接受两种请求,一种来源于用户(USer),另外一种是广告交易市场发过来的(RTBS)
  2. Ad retrival:找出与页面和用户相关的广告
  3. Ad ranking:有多个广告满足要求时,根据某种指标 (如 eCPM) 来排序,选出最符合要求的广告
  4. Streaming Computing:流式计算平台
  5. Data highway:把线上数据传到 Hadoop 平台或流式计算平台
  6. Session log generation: 搜集用户的浏览、搜索的行为整理成一份标准日志,提供给其他的系统
  7. Customized audience segmentation:受众的定制化,不由平台固定受众分类,而是由广告主选择具体的受众类型,因为业务的需求是各式各样的
  8. Page attribute system:爬取有广告展示的页面,用于广告的 retrieval
  9. Audience targeting:受众定向,根据用户及其浏览的上下文决定出推送哪个广告
  10. Ad management system: 供广告主投放广告的平台